Gmach został wzniesiony w latach 1750-1755 na zamówienie Wilhelma, księcia Cumberland - młodszego syna króla Jerzego II. Początkowo służył jedynie jako dom letniskowy. Podczas przebudowy Zamku Windsor w 1828, prowadzonej z inicjatywy króla Jerzego IV, niejako przy okazji rozbudowano też Fort Belvedere, który miał służyć jako rezydencja łowiecka. W praktyce bywał używany zarówno przez członków rodziny królewskiej, jak i wyższych rangą dworzan. W 1911, po kolejnej przebudowie, na stałe zamieszkał w nim Artur, książę Connaught i Strathearn, jeden z synów królowej Wiktorii.