I et hjørne af Varde Torv ved siden af det nuværende bibliotek (det tidligere ting- og arresthus) ligger et beskedent og charmerende hus. Sillasens Hus blev bygget i 1797 som enkebolig til Agnethe Brorson, der var blevet enke efter sin mand, præsten C.C. Brorson. Brorson var udover at være præst i Varde også var søn af den berømte salmedigter og biskop i Ribe, H.A. Brorson. Senere blev huset indrettet til gæstgiveri med Silas Sillasen som værtshusholder, og det er hans navn, der op til i dag har været kendetegnet for bygningen. I dag er der stadig udskænkningssted i Silassens Hus, nærmere betegnet Café Silas.