Het gebouw dat nu dienst doet als stadhuis werd in de jaren 1530-1534 gebouwd in opdracht van de graven Antoon de Lalaing en Elisabeth Van Culemborg. Er werd een deel afbraakmateriaal van de oude kerk gebruikt. Volgens de Inventaris Onroerend Erfgoed deed het dienst als vleeshal, later de botermarkt, de schepenbank en de stedelijke administratie. Ruim 250 jaar later, in 1788, werden de eerste grote herstellingen gedaan en nog eens 100 jaar later volgde een volledige restauratie. In die periode kwam er ook nog een doortochtgevangenis bij. Nog wat later werden het voorportaal en de huidige trouwzaal verfraaid en tussen 1905 en 1923 zorgde Karel Boom voor enkele mooie muurschilderingen. 

In 1944 werd het gebouw nagenoeg volledig vernield nadat de Duitse bezetter de toren van de Sint-Katharinakerk had opgeblazen met dynamiet. De brokstukken kwamen op het stadhuis terecht. Het gebouw werd begin jaren ‘50 in oorspronkelijke staat terug opgebouwd met uitzondering van de achtergevel en de achterbouw. Begin jaren ‘90 werd het huidige administratieve centrum ernaast gebouwd en deels geïntegreerd.

De tweede verdieping, die nu volledig gerenoveerd is, diende tot 1881 als gildenkamers voor de Sint-Jorisgilde en de Sint-Sebastiaangilde. Daarna werd het nog even een museum om dan zijn functie als raadzaal te krijgen. Dat bleef zo tot 2016 waarna uit praktische overwegingen de verhuis werd gemaakt naar De Welgezinde. Na de grondige restauratie van de verdieping, hebben de oude schilderijen opnieuw hun plaats gekregen waaronder een uniek panorama uit 1564. “Het schilderij is gemaakt in opdracht van de graaf en gravin”, zegt Piet Van Deun, conservator van het Stedelijk Museum. “Het is gemaakt door een onbekende meester. De perspectieven zijn niet helemaal perfect, maar het is een uniek stuk. Ook de Begijnhofkerk is er op te zien en het is eigenlijk het enige beeld van die kerk dat we nog hebben uit die tijd.”