První podnět k založení pražského vlastivědného muzea dal náměstek pražského starosty O. A. Zeithammer v roce 1877, když důrazně upozornil městskou radu, že významné pražské historické a umělecké předměty skupují agenti a vyvážejí je do ciziny. Díky jeho iniciativě tehdy vznikla zvláštní komise pro založení pražského muzea, která později zřídila stálý komitét městského musea Pražského.
Pravidla stálého komitétu městského musea Pražského byla schválena sborem obecních starších pražského magistrátu 3. října 1881 - tento den je také považován za oficiální datum vzniku Muzea hlavního města Prahy.
Zpočátku muzeum sídlilo v kavárenském pavilonu poblíž zbořené Poříčské brány. Na jaře 1883 zde představilo své sbírky veřejnosti. Komitét však usiloval o výstavbu budovy nové, lépe uzpůsobené pro muzejní účely.
Mnohaleté úsilí bylo završeno dne 27. září roku 1900, kdy byla v sousedství kavárenského pavilonu slavnostně otevřena hlavní budova muzea, vystavěná podle návrhu architekta Antonína Balšánka.
