Kuća se sastoji iz tri dela: prizemnog, jednospratnog sa jednostavnim krovom i jednospratnog sa podrumom i mansardnim krovom. Sva tri dela povezana su jedinstveno obradjenom fasadom i imaju zajednički glavni ulaz. Najviši deo zgrade podigao je 1764. godine imućni zemunski trgovac Kuzman Jovanović. Zgradu je 1772. godine kupio Dimitrije Karamata. Od tada do danas zgrada se nalazi u vlasništvu porodice Karamata.
Na planovima Zemuna s kraja XVIII veka zgrada ima današnji gabarit. Krajem veka, 1795. godine, procenjena je na 8.000 forinti, što kazuje da je tada, kao i kasnije, bila jedna od najkomfornijih zemunskih kuća jer su u to vreme najbolje kuće Zemuna dostizale cenu od 6.000 forinti. Jovan Karamata, sin Dimitrija, nadzidao je 1827. godine sprat na srednjem delu kuće i izvršio adaptaciju zgrade u celosti. Iz toga vremena je jedinstvena fasada s kapijom iznad koje stoji godina 1827. Ranija barokna kapija bila je na istočnom delu zgrade.
U kući porodice Karamata, za vreme austro-turskog rata, 1788. godine odseo je car Josif II sa svojim štabom. Tu je održan ratni savet na kojem su učestvovali pored Josifa II i feldmaršal Laci i Laudon. Tada je na plafonu salona prvog sprata postavljen, u drvetu rezan i obojen, veliki dvoglavi austrijski orao, verovatno delo nekog domaćeg „piltora“. Godine 1848. u zgradi je odseo patrijarh srpski Josif Rajačić. U njoj je, pored drugih poznatih ličnosti, boravio i Vuk Stefanović Karadžić.
Graditelji kuće za sada su nepoznati, a nema ni originalnih planova. Fasada je oblikovana u duhu klasicizma i ampira, dok zgrada u celini ima odlike tipične barokne gradske stambene kuće. Zgrada predstavlja jedan od najznačajnijih spomenika starog jezgra Zemuna.
U sačuvanoj zbirci nalaze se porodični portreti, radovi Georgija Teneckog i Pavela Djurkovića.
Službeni glasnik SRS br. 14/79
