Pierwszy budynek wzniesiono na terenie posiadłości w latach 1631-1633 na polecenie Karola I. Później przebudowywano go w latach 1766-1772 oraz w 1798. Przez wiele lat na przełomie XVIII i XIX wieku posiadłość była siedzibą księcia Clarence, późniejszego króla Wilhelma IV. Następnie mieszkała tu księżniczka Maria, córka Jerzego III, początkowo z mężem, księciem Gloucester, a po jego śmierci sama. W latach 1877-1878 przeprowadzono rozbiórkę pierwotnego gmachu, a na jego miejsce zbudowany nowy obiekt, oddany do użytku w 1879. "Nowy" Bagshot Park był główną siedzibą księcia Artura, syna królowej Wiktorii, od 1880 aż do jego śmierci w 1942. Później budynek został przekazany armii, a konkretnie służbie kapelanów wojskowych, którzy mieli tu swoją bazę. Z tego okresu pochodzi anegdota, iż przy parkowym stawie umieszczono rzekomo tabliczkę Nie chodzić po wodzie.