Początkowo budowla miała postać średniowiecznego zamku, który szkocka rodzina królewska kupiła w XIV wieku od klanu MacDuff. W 1402 był on sceną krwawych rozgrywek wewnątrz dynastii. Brat króla Roberta III, Robert Stewart, 1. książę Albany, uwięził w nim następcę tronu, Dawida Stewarta, księcia Rothesay. Książę Dawid nie doczekał swojego oswobodzenia, umierając wcześniej z głodu i wyczerpania.