Po potopie szwedzkim, kiedy wojska nieprzyjaciela opuściły zamek w roku 1657, mimo, że został totalnie splądrowany w środku, jego wnętrza wiały pustką, a z wyposażenia, niegdyś bogatego i pełnego przepychu nie pozostało już nic, zamek nadal był zamieszkiwany przez możnowładców. Początkowo ród Wiśniowieckich, później zamieszkali tam Morsztynowie. Mimo, że Szwedzi nie zniszczyli murów zamku, ze względu na jej splądrowanie, żaden z kolejnych właścicieli nie podjął się odbudowy. Nie mieli na to środków, ani siły woli, ponieważ zniszczenia były spore i kosztowałyby ogromnych nakładów. Dlatego też ta wspaniała architektura, pod której wrażeniem byli wszyscy, którzy znaleźli się w jej pobliży zaczęła chylić się ku upadkowi. Dopiero koło roku 1760 pierwsza osoba- Jan Michał Pac, podjął się jakiejkolwiek próby doprowadzenia pałacu do stanu sprzed lat. Udało mu się doprowadzić do pełnego odrestaurowania całej południowej część zamku. Jednak owe próby szybko musiały się zakończy z powodu wybuchu kolejnej wojny.
