Huset, vars officiella adress var Södra Storgatan 9, hade ursprungligen fungerat som både som tullkammare och bostad för de högre tulltjänstemännen. Men senare när hamnen utvidgades önskades det en bättre placerad tullkammare. Därför köptes i slutet av 1850-talet ett dåvarande badhus in för att användas som ny tullkammare medan tullpersonalen fortsatte att använda huset som bostad (därav namnet
Tullbostället). Huset revs 1973 och ersattes 1976 av Kongresshuset.