Pałac w Żołędowie powstał w pierwszej połowie XIX wieku. Był to typowy, parkowy dwór o dachu dwuspadowym, kryty dachówką. W roku 1877 pałac znacznie przebudowano, dodając dwie wieże narożne. Wystrój zewnętrzny został wykonany w eklektycznym stylu charakterystycznym dla niemieckiej architektury rezydencjalnej po wojnie francusko – pruskiej. Autor budynku jest nieznany.
Pierwotnie teren na którym stoi pałac nosił nazwę Jastrzębie. W latach 1667 – 1840 był w posiadaniu rodziny Karłowskich – herbu Prawdzic, z których wywodzi się Błogosławiona Maria Karłowska – Założycielka Zgromadzenia Sióstr Pasterek od Opatrzności Bożej. Nad wejściem po dziś dzień zachowały się na elewacji budynku sześć wykutych wizerunków „Jastrzębi”.
W drugiej połowie XIX wieku obiekt należał do rodziny Moszczyńskich. Kolejnymi właścicielami byli Hans von Kleist (ok 1877 roku). Lessig (ok. 1884 r), a następnie koloniści niemieccy. W latach powojennych pałac należał do rodziny Macielskich.
Po ostatniej wojnie z roku na rok budynek coraz bardziej pustoszał i zamieniał się w ruinę. Obok, jak straże dawnej przeszłości, pozostały jedynie dwa okazy starych dębów. W 2011r. jeden z nich został powalony przez wiatr.
Stan pałacu w 1981 r.
Od 14 grudnia 1983 r. pałac jest własnością Zgromadzenia Sióstr Pasterek od Opatrzności Bożej. Zdewastowany obiekt został wyremontowany w latach 1986 – 1998. Dnia 12 września 1992 rok ks. bp Jan Bernard Szlaga poświęcił dom oraz kaplicę pod wezwaniem Pana Jezusa Dobrego Pasterza.
Dnia 1 stycznia 2005 r powstało przedszkole niepubliczne – Przedszkole Dobrego Pasterza, dla dzieci z okolicy.
