Budynek biblioteki powstał dla uczczenia pamięci Gajusza Juliusza Celsusa Polemenusa i jako miejsce jego pochówku. Gmach zbudował syn Celsusa, konsul Gajusz Juliusz Aguila, w latach 114 – 117. Odkryta podczas badań archeologicznych krypta z sarkofagiem mieści się pod posadzką w zachodniej części budynku. Nad nią umieszczono pomieszczenie, które pełniło funkcję biblioteki i czytelni. Salę o wymiarach 16,0 x 10,0 m otaczały podwójne mury, które rozdzielała pusta przestrzeń o szerokości ok. 1,0 m. Takie rozwiązanie miało pomóc zachować stałą wilgotność i temperaturę wnętrza. Zbiory biblioteczne, liczące około 12 tysięcy zwojów, umieszczono w szafach rozlokowanych w niszach ściennych. Centralnej części pomieszczenia najprawdopodobniej znajdował się posąg Ateny.