Der Graue Hof ist das älteste Profangebäude der Stadt. Von der ursprünglich wohl ringartig geschlossenen Hofanlage ist nur noch der Ostflügel erhalten. Das Drillingsfenster der Vorderfront und der Spitzbogen der Tordurchfahrt (Hofseite) stammen aus frühgotischer Zeit (wohl Ende des 13. Jahrhunderts). Nach Mrusek (1973) dürften die erhaltenen Reste ein vortreffliches Beispiel für das Aussehen der Hauptfront eines festen mittelalterlichen Hofes sein.