W czasach średniowiecznych, na wzniesieniu pośród podmokłych łąk, zbudowana została przez ród Pobogów wieża pełniąca funkcje mieszkalne oraz obronne. W rejonie zwanym „na końcu pola” rozwinęły się także osady - od czego zresztą pochodzi przydomek „Koniecpolscy”, jaki przyjęli Pobogowie i który stał się z czasem ich właściwym nazwiskiem. Wieża (znajdująca się w tzw. Koniecpolu Starym) stała się zaczątkiem większego założenia obronnego, które funkcjonowało mniej więcej do końca w. XV. Wówczas Koniecpolscy rozpoczęli budowę nowego zamku w Chrząstowie. Siedziba ta, wzmiankowana w 1511 r., wzniesiona została na nizinnym terenie w pobliżu przeprawy przez Pilicę. Podmokłe i bagniste miejsce przyczyniało się do podniesienia walorów obronnych rezydencji. W latach 1603-1605 Aleksander Koniecpolski przebudował zamek na pałac. Rozbudowę kontynuował jego syn, sławny hetman wielki koronny, Stanisław. Do Koniecpolskich Chrząstów należał do 1719 r. Później znajdował się w rękach Lubomirskich i Czapskich, zaś przez cały wiek XIX (a potem aż do 1945 r.) w rękach Potockich. Najstarszą część budowli stanowiło północne skrzydło wzniesione na planie kwadratu, będące wieżą mieszkalną z XVI w., a także wolno stojąca baszta. Dziełem Koniecpolskich było prostokątne skrzydło południowe w stylu późnorenesansowym, które dobudowano do wieży. Za czasów Czapskich, w drugiej połowie XVIII w., miała miejsce przebudowa klasycystyczna. Wówczas założono również park. Pierwsza połowa XIX w., gdy panami byli tu Potoccy, przyniosła przebudowę wieży na modłę romantyczną. W 1945 roku pałac spłonął. Odbudowa w latach 1958-61, w celu przeznaczenia obiektu na dom kultury, wiązała się z zupełną zmianą charakteru wnętrz. W sąsiedztwie pałacu stoi barokowy kościół pw. św. Michała Archanioła, z 1776 r., zbudowany przez Czapskich na miejscu dawnej kaplicy pałacowej.