Dillonshús var reist árið 1835 á horni Túngötu og Suðurgötu. Það er timburhús af dansk-íslenskri gerð. Húsið dregur nafn sitt af Arthur E. D. Dillon sem lét reisa það. Hann var ungur maður af ensk-írskum aðalsættum sem dvaldi hér vetralangt árið 1834. Hér kynntist hann íslenskri konu, Sire Ottesen og felldu þau hugi saman. Þeim var meinað að eigast og fór Dillon af landi brott 1835 en gaf Sire og dóttur þeirra húsið. Sire vann síðan fyrir sér og dótturinni með veitingasölu í húsinu. Einnig hélt hún dansleiki og leigði út herbergi. Það var flutt á safnið 1961 og þar er rekið kaffihús safnsins.
Dillonshús er kennt við ensk-írska aðalsmanninn Arthur E.D. Dillon, eða Dillon lávarð. Hann var yngri sonur Dillons vísigreifa. Hann kom til landsins 1834, í þeim tilgangi að skoða land og þjóð og skrifa ferðabók um Ísland. Hann leigði herbergi hjá kaupmanni í bænum en var í fæði á Klúbbnum, sem var veitinga- og samkomustaður við sunnanvert Aðalstræti. Þar reis Herkastali Hjálpræðishersins síðar. Fyrir rekstri Klúbbsins fór Sigríður Ottesen, eða Sire eins og hún kaus að kalla sig. Sire var fráskilin tveggja barna móðir og nokkuð eldri en Dillon lávarður, hann var 22 ára en hún 12 árum eldri. Þau Sire og Dillon felldu hugi saman og um veturinn 1834 flutti hann sig yfir á Klúbbinn.
Í júnímánuði árið eftir eignaðist Sire dóttur, sem fékk nafnið Henrietta í höfuðið á föðurömmu sinni. Síðar það sama sumar fluttu þau inn í nýreist húsið á horni Suðurgötu og Túngötu og bjuggu þar saman um hríð. Dillon hafði í hyggju að kvænast Sire, en þurfti að sækja um leyfi til danska kansellísins í ljósi þess að hann var kaþólskrar trúar. Talið er að fyrir atbeina Dillons fjölskyldunnar hafi beiðni um ráðahag þeirra verið hafnað. Haustið 1835 hélt Dillon heim á leið. Bæjarbúar munu hafa verið heldur óvægnir í slúðri sínu um parið.
Þegar heim var komið tók hann til við að skrifa ferðabók sína, og kom hún út árið 1840. Þar minnist hann ekki einu orði á Sire og dóttur sína. Sire sá fyrir sér og dóttur sinni með veitinga- og samkomurekstri í Dillonshúsi, sem svo nefndist upp frá því. Hún hélt það vinsæl píuböll og leigði út herbergi. Meðal leigjenda var þjóðskáldið Jónas Hallgrímsson, sem dvaldi þar veturinn 1841-42. Dillon hélt þó sambandi við Henriettu og skrifuðust þau á í mörg ár. Talið er að hún hafi heimsótt föður sinn til Englands 1875 og sonur hennar, Pétur Arthur, fór í herforingjaskóla á Englandi fyrir milligöngu Dillons. Dillon lávarður eftirlét dóttur sinni og barnsmóður sæmilegar upphæðir í erfðaskrá sinni.
Um 1850 dró Sire saman veitingarekstur og leigði út stærri hluta hússins. Meðal leigjenda voru systurnar Ágústa og Þóra Grímsdætur, en þeir ráku í Dillonshúsi fyrsta kvennaskólann á Íslandi, árin 1851-53. Skólinn stóð ekki undir sér og var því lagður niður. Síðar giftist Þóra Páli Melsteð, en þau hjónin stofnuðu svo Kvennaskólann í Reykjavík árið 1874.
Sire lést í Reykjavík 1878 og dóttir hennar Henríetta sjö árum síðar. Dillon lávarður dó árið 1892.
