Het Stadhouderlijk Hof heeft zijn huidige gepleisterde uiterlijk in 1880 ontvangen van architect H.R. Stoett. Bij die verbouwing tot woning van de commissaris des konings raakte het complex zijn barokke stijlkenmerken kwijt. De geschiedenis van het Hof gaat terug tot 1587, toen stadhouder Willem Lodewijk een stadshuis met voorname vertrekken van de Staten van Friesland ter bewoning kreeg aangeboden. Het middengebouw lag achter een voorplein en werd ingesloten door twee vleugels, waarvan de westelijke, het Dekemahuis, in 1603 is aangekocht. Het geheel was voorzien van rijk versierde trapgevels. Aan de oostzijde was een grote poort gesitueerd die nog herkenbaar is in de huidige gevel. Het gebouw werd vanaf 1650 verbouwd.

De belangrijkste verbouwing vond plaats rond 1709 in opdracht van stadhouder Johan Willem Friso. Hofarchitect Daniël Marot kreeg opdracht om van het complex een geheel te maken. Er is een nieuwe façade met iets vooruitspringende middenpartij en een groot driehoekig fronton geplaatst. De toegangspartij in de noordoosthoek van het voorplein is ook gewijzigd. Marot richtte een nieuw trappenhuis in en ontwierp een eetzaal. In 1747 vertrok de tot algemeen erfstadhouder gekozen Willem Carel Hendrik Friso naar Den Haag (Willem IV). Het complex werd zelden meer bezocht. Aan de vroegere stadhouders herinnert nog de zogenaamde Nassauzaal met een reeks staatsieportretten.

Eind 19e eeuw is er verbouwd en is een spectaculair 'lakkabinet' verhuisd naar het Rijksmuseum in Amsterdam, waar het sinds enkele jaren, na restauratie, weer kan worden bewonderd. (Zie onderstaande afbeelding.)

Sinds 1993 is het complex in gebruik als hotel-restaurant. In 2018 werd naast het hotel het restaurant Duco geopend. De Nassauzaal kan alleen worden gereserveerd voor speciale gelegenheden.

Het huidige, strak gepleisterde gebouw, gaat terug op drie oudere gebouwen. Zie onderstaande foto. Op het plein voor het hof staat een standbeeld voor de eerste bewoner: graaf Willem Lodewijk van Nassau, ook bekend als Ús Heit.

Achter het hof ligt een bescheiden tuin. Een recente studie heeft uitgewezen dat vier reuzenvazen in de tuin belangrijke kunstwerken zijn uit 1700 of daaromtrent.