Budynek został wzniesiony w latach 1825-1827 według projektu Johna Nasha, na zamówienie księcia Clarence, późniejszego króla Wilhelma IV. Po koronacji księcia został przekazany jego siotrze, księżniczce Auguście Zofii, a następnie królowej-matce Wiktorii. Kolejnym lokatorem (od 1866) był Alfred, książę Edynburga, drugi syn królowej Wiktorii, a następnie jego młodszy brat książę Artur. W czasie II wojny światowej mieścił się tu szpital polowy. W 1947 budynek stał się siedzibą świeżo poślubionych księżniczki Elżbiety i księcia Filipa. Po śmierci Jerzego VI i koronacji Elżbiety, został przekazany wdowie po zmarłym królu, królowej-matce Elżbiecie, której służył przez kolejne 50 lat - do końca jej długiego życia.