Húsið Lækjargata 4 var reist við lækinn í miðbæ Reykjavíkur árið 1852. Húsið var reist af þýskum manni, Georg Ahrenz timburmanni, sem kom til Íslands árið 1847 til að vinna við byggingu Dómkirkjunnar og ílentist hér. Það var fyrsta tvílyfta íbúðarhús í Reykjavík. Biskupinn yfir Íslandi, Helgi Thordarsen, keypti húsið árið 1856 og flutti biskupssetrið þangað frá Laugarnesi. Bjó hann þar til dauðadags árið 1867. Húsið, sem er bindingshús, var upphaflega styttra, en um 1870 voru tveir einlyftir skúrar byggðir við það við gaflana. Þeir voru rifnir á árunum 1884-1890 og húsið lengt í báða enda og fékk þá núverandi útlit. Lengst af þjónaði húsið sem verslunarhús. Þar starfaði um tíma (1876-1893) Þorlákur Ó. Johnson, en kona hans Ingibjörg Johnson var önnur konan í Reykjavík til að hefja verslunarrekstur (1893-1920). Húsið var flutt á safnið árið 1988 en svo slysalega vildi til að hluti hússins hrundi í flutningunum og var það því endurreist á safnsvæðinu. Það hýsir m.a. Krambúð safnsins sem og sýninga- og fjölnotasali.
Kaffihúsið Hermes var opnað í Lækjargötu 4 árið 1886 og var fjölsótt af bindindismönnum í bænum. Þar var 17. júní í fyrsta skipti haldinn hátíðlegur, 1886. Einnig var Verslunarmannafélag Reykjavíkur stofnað þar árið 1891 og sjómannafélagið Báran árið 1894. Áður hafði stúkan Einingin verið stofnuð í húsinu, árið 1885. Meðal annarra sögulegra viðburða í húsinu má nefna stofnun fyrstu heildverslunar á Íslandi árið 1906, en það var O. Johnson og Kaaber. Ólafur Johnson var sonur Þorláks og Ingibjargar.
Meðal nafnkunnra manna sem bjuggu í Lækjargötu 4 á 19. öld má nefna Benedikt Gröndal skáld sem fjallaði um veru sína þar í minningabók sinni, Dægradvöl.
Árið 1884 var suðurskúr Lækjargötu 4 rifinn og tvílyft viðbygging reist í hans stað. Árið 1890 var hið sama gert norðanmegin. Voru þeir þá orðnir jafnháir húsinu og fékk húsið við það að nýju sama einfalda yfirbragðið og verið hafði í upphafi. Framhlið þess var samhverf með aðalinngangi á miðri hlið. Á 20. öldinni voru gerðar allmiklar breytingar á neðri hæð hússins, gluggar stækkaðir og innveggir fjarlægðir. Efri hæðin hélst hins vegar að mestu óbreytt.
