Na obroncima planine Zahor, na tromeđi Kiseljaka, Fojnice i Busovače, a iznad mjesta Milodraž, pronađeni su tragovi starog grada Kaštela. U pisanim dokumentima grad se prvi put spominje u 15. stoljeću. Prema predaji, u pećinama starog grada Kaštela skrivali su se fratri koje je predvodio fra Anđeo Zvizdović. Iz Kaštela je fra Anđeo sišao u polje Milodraž kako bi, kao predstavnik bosanskih franjevaca, 1643. godine od sultana Mehmeda II., zatražio dopuštenje za obavljanje djelatnosti na tom području, primio povelju poznatu kao Ahdnama.
Stari grad Kaštele je jedna od najstarijih građevina i svjedok je franjevačke prisutnosti u Bosni i Hercegovini. Predstavljaju ga tri veće pećine koje se nalaze u dubini stjenovitog dijela planine Zahor. Za Kaštela su vezane mnoge priče i legende. Stanovnici pripovijedaju kako se u kamenu nalazila velika željezna alka za koju su bili vezani brodovi, a da je more bilo u dolini rijeke Kozice te se pružalo dolinama rijeke Bosne i Lašve. Željezna alka je postojala i u stvarnosti je korištena za penjanje do pećine, a ne za vezivanje brodova. Na zazidanoj strani ulaza u prvu pećinu nalaze se tragovi greda što ukazuje na to da je pećina bila podijeljena na kat ili je gornji dio služio kao prostor za spavanje. Zid je izgrađen od kamena krečnjaka, vezivan je čvrstim krečnim malterom pa se može tvrditi da pećina potječe između 12. i 15. stoljeća.
Stari grad Kaštela se, pored Kozograda, nalazi na najvećoj nadmorskoj visini od svih starih gradova u Bosni, a ona iznosi 1158 m.
