Miał być rezydencją biskupa Stefana Wierzbowskiego – stąd nazwa – jednak ostatecznie założyciel naszego miasta w budynku nie zamieszkał. W obiekcie mieścił się m.in. sąd pokoju. Zabytek zbudowano w Górze Kalwarii w drugiej połowie XVII wieku. W drugiej połowie XVIII stulecia został przebudowany w stylu klasycystycznym według projektu wybitnego architekta Jakuba Fontany. Dzięki modernizacji dofinansowanej z Unii Europejskiej (miała miejsce w 2015 r.) działają tu, przy ul. ks. Sajny 1, Gminna Biblioteka Publiczna oraz Centrum Informacji Kulturalnej i Turystycznej, w którym można kupić pamiątki dotyczące gminy.