Kraj 17. i početak 18. stoljeća osobito je bio težak za katoličku zajednicu u Bosni i Hercegovini. Nakon Austrijsko-turskih ratova katolici u Bosni našli su se u nezavidnom položaju. Turci su u Europi pretrpjeli velike gubitke pa su u strahu od odmazde katolici napuštali mnoga bosanska mjesta. Među njima i Olovo sa svetištem Gospe Olovske.
U noći s 1. na 2. kolovoza 1704. godine zapaljen je Franjevački samostan s Gospinom crkvom u Olovu. U strašnom požaru vjerojatno je izgorjela i čudotvorna slika Gospe Olovske, koja se u glasovitim velikogospojinskim procesijama nosila iz olovske crkve do sela Bakića, gdje su do danas ostali sačuvani temelji srednjovjekovne crkve sv. Roka.
O tom požaru iz 1704. godine ostavio je zapis ljetopisac sutješkog samostana fra Bono Benić:
„Odmah je iznio (Sefer-paša) stvar pred odličnije ljude a ovi su – kako se kasnije čulo – jednodušno zaključili da se samostan i crkva spale prije nego što se odgovori na kapetanovu molbu. Zato paša dadne nekome Ciganinu, imenom Kotomanu, konja i dva zlatnika kao plaću da odmah zapali gore spomenutu crkvu i samostan. Taj Ciganin ustane i krene prema označenom mjestu. Putem složi svežanj od suhe kore drveća i napravivši od njega baklju, pažljivo je ubaci kroz prozor. Zapalivši tako sobu u kojoj su obično boravili gvardijani a koja se nalazi od strane brda, pobjegne pod okriljem noći. (…) Stanovnici gradića kasno su se probudili od sna a vatra je bila zahvatila i crkvu pa ništa nisu mogli spasiti. (…) Svi koji su naokolo stajali posve su sigurno vidjeli – neko sasvim posebno, divno, svjetlo kako je izišlo i kako je odmah, poput munje, odatle preletjelo prema zapadu. Ovo priznaju čak i sami Turci.“
Prva fotografija nastala je oko 1930. godine prije početka izgradnje današnje Gospine crkve u Olovu. Crkvište je tako izgledalo od paljenja 1704. godine pa sve do početka gradnje nove Paržikove crkve 1930. godine.
