Budynek wzniesiono w XVIII w. na potrzeby pruskiej administracji. W budynku przechowywana jest poklasztorna biblioteka należąca niegdyś do bydgoskiego klasztoru bernardynów. Jest to najstarszy zachowany w mieście księgozbiór, którego początki sięgają schyłku XV w.
Przed wejściem głównym do biblioteki znajduje się urocza rzeźba-fontanna „Dzieci bawiące się z gęsią” , dzieło Karla P. Kowalczewskiego, które od 1909 r. ozdabia Stary Rynek. Pierwotnie znajdowała się przed apteką pod „Złotym Orłem” gdyż ufundowana została przez jej właścicieli, rodzinę Kupffenderów, z okazji 100-lecia prowadzenia przez nich apteki.