Der ‹Hirschen› war einst das vornehmste Gasthaus in der Stadt. Die spätgotische Gaststube war mit einem Brusttäfer ausgestattet, mit einem Wandbild geschmückt und räumlich durch eine gotische Balkendecke mit reichem Zierschnitzwerk geprägt.

Der Künstler Ludwig Georg Vogel hat die Gaststube 1815/20 in einer Zeichnung festgehalten. Erhalten hat sich der wohl bauzeitliche Dachstuhl aus dem 16. Jahrhundert in Firstständerkonstruktion.

Der päpstliche Ablassprediger Bernhardin Samson nahm hier 1519 Quartier. Der Stadtpfarrer Heinrich Bullinger (Vater) untersagte Samson das Predigen in der Stadtkirche.

Zur Zeit der Reformation war der Hirschen Treffpunkt der katholischen Bürger und der Gesandten der katholischen Orte der Eidgenossenschaft.

Vom 9. bis 21. Juni 1799 bezog der französische General André Masséna hier sein Hauptkommando im Krieg der Franzosen gegen die verbündeten Österreicher und Russen (Zweiter Koalitionskrieg). Die Kriegsfront verlief vom Gotthard über Zürich bis an den Rhein.

Am 25. September 1799 besiegten Massénas Truppen in der Schlacht bei Zürich das russische Heer von General Korsakoff.