Die Ortschaft Garda stammt mit Sicherheit aus der römischen Zeit. Der Name Garda stammt von der Burg, die auf dem Fels als Verteidigung gegen die wiederholten barbarischen Angriffe erbaut wurde. Vom deutschen "Warte" wurde nämlich später Garda abgeleitet. Aber die Ortschaft Garda erreichte erst im Mittelalter große Bedeutung, als Karl der Große sie zur Grafschaft erhob. Die Tradition berichtet, dass Berengaries II. Königin Adelheid in der Burg auf dem Fels gefangen hielt, nachdem er ihren Mann Lothar I. vergiftet hatte, um sie zu zwingen, seinen Sohn Adalbert zu heiraten. Adelheid konnte jedoch flüchten und fand im Schloss von Canossa Schutz. Hier traf sie auf Otto I., der sich in sie verliebte, sie heiratete und sie zur Kaiserin machte. Später wurde Garda Zentrum der "Judicaria" des Gardagebietes, zuerst von deutschen Offizieren und dann vom Bischof von Verona geleitet. In der Burg Garda hielt der Graf Turrisendo de´ Turrisendi ein Jahr lang den Angriffen Barbarossas stand. Nach anderen Herrschaften kam sie dann unter die Familie der Della Scala und zur Republik Venedig. Es scheint, dass gerade die Regierung von Venedig über das Abtragen bzw. Abreißen der Burg Garda entschied.
Unter Venedig wurde der Ort Garda eine der Gemeinden der "Gardesana dell´Acqua", die das westliche Ufer des Sees umfasste, und wurde, in Abwechslung mit Torri und Malcesine, Residenz des Seebefehlshabers, der die Oberaufsicht für die Sicherheit der Ufer hatte.
Der Einfluss der venetianischen Architektur ist bedeutend, ein Beispiel hierfür ist der Palast des Seebefehlshaber der wahrscheinlich im XV. Jahrhundert errichtet wurde. Auch nach venetianischem Stil wurde auch der Palast Fregoso erbaut. Berühmt ist die Villa Albertini. Herrlich ist auch der Park mit einem zentralen Blumenbeet umsäumt von zwei rießigen Spalieren von Magnolien und umgeben von Koniferen, Sequoien, Kastanienbäumen und Platanen.

