Architektura Krzyżtopora zyskała tylko jedną pozytywną kwestię podczas całego potopu szwedzkiego. Znakomity szwedzki rysownik Eryk Dahlberg, po przeglądzie planów Krzyżtopora oraz oględzinach samego pałacu stwierdził, że jest to wspaniałe osiągnięcie budownictwa, perełka wśród powstałych dotychczas zamków, oraz doskonale obwarowana i umocniona twierdza. Podczas potopu szwedzkiego, w sumie w takcie jego trwania sam zamek nie ucierpiał mocno, ponieważ ze względu na jego wygodę oraz komfort, wojska szwedzkie zrobiły sobie tu bazę i kwaterowali ponad dwa lata, zamiast po prostu zdewastować zamek i odejść, jak to robili w większości przypadków. Niestety, kiedy szwedzkie oddziały opuszczały już Krzyżtopór, naturalnie zdewastowali, to co dało się zdewastować, ukradli to co dało się ukraść i zniszczyli to co było tylko do zniszczenia. Jednak same mury pozostały praktycznie nienaruszone- dzięki temu, że ówczesny włodarz poddał się od razu bez walki, kiedy wkraczali. Mimo, że wnętrza wiały pustką, gmach mógł być nadal zamieszkany.
