Barokní podobu zámku zachycuje veduta města z roku 1801. Zámek se obracel hlavním průčelím na jih, do čestného dvora. Hlavní zámecká budova byla jednopatrová se středním převýšeným rizalitem, krytým mansardovou střechou. Dvůr lemovala po stranách prostá a nižší jednopatrová křídla, ukončená volutovými štíty, a v jejich pokračování přízemní hospodářská stavení, uzavírající rovněž jižní stranu dvora a svírající prostou vjezdovou bránu v ose dispozice. Na počátku 19. století si Šternberkové vystavěli nový zámek na Březině a radnický zámek přestal být sídlem vrchnosti.
