Pałac w Psarskim zbudowany został około 1867 r. przez Antoniego Raczyńskiego. Około roku 1900 i po 1910 rozbudowany został w stylu gotyku angielskiego. W 1926 roku należał do Jana Szołdrskiego, stąd znany jest też jako pałac Szołdrskich. Ostatnim właścicielem przed II wojną światową był August Zaleski, minister spraw zagranicznych w latach 1926-1932, a po wojnie Prezydent Rzeczypospolitej na emigracji.
Budynek jest otoczony 6,7 hektarowym parkiem z bogatym drzewostanem i pomnikami przyrody (m.in. dęby szypułkowe, kasztanowce, lipy oraz cis ukształtowany w formie altany). Pomnikiem jest również aleja platanowa prowadząca ku bramom pałacu.
Od 1971 r. w budynku mieści się Dom Pomocy Spolecznej.