Der Brauereibesitzer und Landtagsabgeordnete Carl Terpinitz ließ im Jahr 1870 ein Hotel in der Herrenstraße errichten. Es sollte ein Bahnhofshotel sein, wo Betriebsleitung und Bahnpersonal untergebracht werden.
Im Jahr 1898 erbte die mit Mathias Waldhör verheiratete Tochter Josefa Terpenitz das Gebäude. Das Waldhör-Hotel war geboren und beherbergte vor allem im Sommer viele Gäste aus Wien.
Anfang des 20. Jahrhunderts wurde es an ein Wiener Ehepaar verpachtet.
1930 übernahm es der Sohn Karl Waldhör und ab 1974 wurde es von der nächsten Generation von Adolf Waldhör weitergeführt.
Die Immobilie blieb bis 1989 in Familienbesitz und wurde anschließend an Wolfgang Buchgeher und Ilse Wöhrer verkauft. Diese legten bei der Sanierung viel Wert darauf die alte Substanz zu erhalten und bewahrten so den Charme des Hauses.
Im Jahr 2014 ging das Haus an den heutigen Besitzer, Herrn Walter Freller über und wurde zum Kunst-Hotel.
