Nie wiadomo dokładnie kiedy została wybudowana. Najstarsze źródła podają jedynie informacje o jej istnieniu już w 1206 roku. Zaginęły ślady, kto był rzeczywistym fundatorem tej świątyni: jedni za Długoszem twierdzą, że syn Bolesława Krzywoustego książę Henryk Sandomierski, Krzyżownik, wybudował tu klasztor dla sprowadzonych z Jerozolimy templariuszy. Inni przypisują kościół cystersom lub benedyktynom, jeszcze inni Alojzemu Duninowi synowi słynnego Piotra.

Pierwsze podziemne korytarze powstały prawdopodobnie już w XIII wieku. Pod rynkiem, domami i ulicami zostało wydrążonych wiele korytarzy do głębokości 15 m, z czego powstało 3 piętra piwnic. Przeznaczeniem piwnic były magazyny na towary składowane tam przez opatowskich kupców. Spełniały też rolę obronną w czasie licznych wojen. Również podczas II Wojny Światowej, podziemia stanowiły schronienie dla żołnierzy AK.

Ruiny zamku Krzyżtopór w Ujeździe należą do największych atrakcji Ziemi Świętokrzyskiej. Podobno jest to pałac, a nazywany jest zamkiem prawdopodobnie ze względu na właściwości obronne. Zamek pochodzi z pierwszej połowy siedemnastego wieku (budowany w latach 1627-1664) i został zbudowany przez Krzysztofa Ossolińskiego. Swoją nazwę wziął od charakterystycznych ozdób bramy wjazdowej - krzyża i topora.