Rytterskolen og Prinsessens Hus rummer i dag Valby Bibliotek på Annexgade 2.
Rytterskolen stammer fra 1720’erne og blev opført som en del af Frederik IV’s landsdækkende skolebyggeri. Formålet var både at forbedre undervisningen på landet og kompensere bønderne for at huse rytterregimenter.
Skolen blev udvidet i 1842 og fungerede frem til 1904, hvor den blev nedlagt efter opførelsen af nye skoler i området. Allerede fra 1800-tallet blev bygningen også brugt til bibliotek, og i 1917 vendte biblioteket tilbage som en kommunal institution.
I perioder har bygningen også været brandstation og teknisk skole. I 1929 blev hele bygningen omdannet til bibliotek.
Biblioteket blev senere udvidet – blandt andet med et børnebibliotek i 1952 og en større udvidelse i 1980’erne, hvor også Prinsessens Hus blev en del af biblioteket.
Prinsessens Hus ligger på Annexstræde 4 og er et af de få bevarede huse fra begyndelsen af 1900-tallet i området. Huset har sit navn fra en lokal beboer, kendt som “Prinsessen”, som boede der frem til starten af 1980’erne og var kendt for sit karakteristiske udseende og sin faste tilknytning til området.
Det samlede bibliotek åbnede i sin nuværende form i 1988.