Residenset som härstammar från slutet av 1500-talet består egentligen av två byggnader, Kungshuset och det Gyllenpalmska huset, vilka byggdes samman 1730. År 1851 fick Residenset en enhetlig fasad i 1600-talets renässansstil av arkitekt Fredrik Wilhelm Scholander, en av 1800-talets främsta akademiska arkitekter i landet och ivrig förespråkare för renässansens formspråk.
I samband med restaureringen fick byggnaden en frontespis. Mittfrontonens gavelröste försågs med riksvapnet. Fönstren fick rokokoinspirerade omfattningar och tre takkupor i holländsk stil tillkom. Trots förändringar under 1930-talet är dagens fasad i stort sett identisk med Scholanders version.
Residenset är statligt byggnadsminne genom beslut 1935 och 1993 och förvaltas av Statens Fastighetsverk.
