Al in de 12de eeuw vormde deze plaats, toen het Zelhof genoemd, het centrum van de bedrijvigheid in Aalst. Uit deze nederzetting aan de Dender groeide tijdens de vroege Middeleeuwen de stad Aalst.
In 1242 stond Johanna van Constantinopel deze grond af om er een hospitaal (in de volksmond gasthuis genoemd) te bouwen. In hetzelfde jaar schenken de Schepenen van Aalst ook de graanhalle aan dit hospitaal, waardoor een belangrijke bron van inkomsten verzekerd wordt.
Het ‘lepelrecht’ geeft het hospitaal immers het recht van alle granen, bonen, erwten die in de graanhalle verkocht worden, een lepel te scheppen.
Het gasthuis wordt bestierd door gasthuyszusters en - broeders en bestaat uit niet meer dan een bidplaats en een ziekenzaal met een klein klooster.
15de tot 17de eeuw
De broeders verdwijnen in de loop van de 15de eeuw. De overgebleven zusters bleven trouw de regel van Sint-Augustinus volgen: gastvrijheid is hun eerste bekommernis.
't Gasthuys zoals je dat vandaag kan ontdekken kreeg voornamelijk vorm tussen de 15de tot 17de eeuw. In het begin van de 15de eeuw breidt 't Gasthuys uit met onder andere de laatgotische kapel, het klooster met de fraaie pandgang en de botanische binnentuin, die je vandaag nog kan bezoeken.
19de eeuw tot vandaag
In 1899 verlieten de kloosterzusters en het hospitaal de gebouwen voor een ruime en moderne nieuwbouw aan de overzijde van de Dender (site Hertshage).
Sindsdien kenden de gebouwen van 't Gasthuys verschillende doelen: de Academies voor Muziek en Schone Kunsten, een tijdelijke apotheek en opvangplaats voor een 40-tal gezinnen tijdens en kort na de Tweede Wereldoorlog.
In de jaren ’90-’00 liet de stad een reeks renovaties aan de gebouwen uitvoeren, zodat het Stedelijk Museum er onderdak kan krijgen. Het verhaal van de stad Aalst wordt sindsdien passend vertelt op de site waaruit de stad ooit ontstond.
