Redovito se razmišlja kako ono što nije na površini zemlje vidljivo zapravo i ne postoji. Arheološke iskopine svjedoče suprotno. one govore uvjerljivije nego mnogi drugi izvori koji nisu tako očevidni. Povijest čovječanstva može biti samo zahvalna što se dio njezine povijesti nalazila i još uvijek nalazi i pod zemljom, jer je na taj način ostala sačuvana i za kasnija pokoljenja.
Iako za Jeruzalem nisu pronađeni arheološki dokazi da je poput Jerihona kao grad postojao prije 10 000 godina, ipak korijeni Jeruzalema kao grada sežu u davnu prošlost. Pri tome treba imati na pameti da Jeruzalem nije moguće tako arheološki obraditi kao Jerihon, jer je Jeruzalem danas nastanjen grad, pa to onemogućava sveobuhvatna iskopavanja, a s druge strane Jeruzalem je zbog svog osobitog značaja imao burniju povijest od Jerihona.
Tragove ljudskoga života na području grada Jeruzalema nalazimo u 4. stoljeću pr. Kr. iz razdoblja kalkolitika. Iz ranog brončanog doba (3150. – 2850.) pronađena je keramika u blizini izvora Gihona, a novija iskopavanja otkrila su i jednu kuću iz tog razdoblja. Osim toga, pronađeni su i grobovi s keramikom na Maslinskoj gori i na dijelu koji se zove Siloah.
Osnutak grada prema arheološkim nalazima spada u razdoblje između 20. i 18. st. pr. Kr. Značajna iskopavanja napravila je Kathleen M. Kenyon služeći se svojom stratigrafskom metodom. Otkrila je zid koji je počivao na tvrdoj stijeni, a zatim vrata koja su se nalazila jedva 20 m iznad izvora Gihona. Pisma, što su pronađena u Amarni, spominju Jeruzalem u 15. st. Jeruzalem je u to doba spadao u grad-državu, a njegov kralj bio je Abdi-Hepa. Jeruzalem kao grad-država bio je središte drugih takvih gradova-država na tom području.
Iz 12. i 11. st. pronađeni su oskudni ostaci gradskih zidina i nešto keramike. Iskopavanja su omogućila da se utvrdi i veličina najstarijeg Jeruzalema. Dužina je mogla biti 420 m, a širina jedva 100 m. Iako grad nije izgledao velik, ipak je spadao u prosječne gradove tog vremena. Tako je Šehem imao sljedeće dimenzije 230 x 150 m, a Jerihon iz tog razdoblja 225 x 80 m, dok je čuveni i utvrđeni grad Megiddo imao nešto veću površinu: 300 x 225 m.
Jeruzalem nije imao samo povijest što se zbivala, nego je ta povijest isto tako ostavljala svoje tragove i u utrobi samoga grada. Kao i inače sva značajnija mjesta u Palestini, tako i Jeruzalem ima svoje arheološke korijene koji na uvjerljiv način svjedoče o nastanku mjesta i njegovoj burnoj povijesti. U arheološkim iskopinama nađu se često puta mnogi stvarni tragovi događaja koji su se zbili , ali su jednostavno nestali u dubinama prošlosti. Tako su i iskopine u Jeruzalemu ne samo potvrdile ono što stoji u drugim izvorima, nego otkrile i dale značajne dokaze o onome što se zbivalo u tom gradu.
Prema raspodjeli zemlje nakon ulaska u Kanaan Jeruzalem je pripao Benjaminovu plemenu, ali je praktički ostao između Judina i Benjaminova plemena, jer ga Izraelci nisu mogli osvojiti. Istom je kralj David uspio ući u grad. Arheološka iskapanja iz 10. st. ne govore ni o kakvom rušenju ili paljenju grada. Ako je David uistinu osvojio grad, a nema dvojbe prema 2 Sam 5,6-8 i 1 Ljet 11,4-6, gdje se izričito veli kako je David uzeo Jeruzalem za svoj glavni grad, onda mora da se to dogodilo mirnim putem. Teško je vjerovati da bi Jebusejci, tadašnji stanovnici Jeruzalema, pustili Davida da mirno uđe i zaposjedne grad, pogotovo kad se u izvješću veli kako će ga braniti čak i slijepci i kljasti. Bit će vjerojatnija druga varijanta prema kojoj je David osvojio grad na prijevaru i lukavstvom. U spomenutim izvješćima spominje se Milo, što bi vjerojatno trebao biti dio grada koji je dogradio David. David nije proširio stari jebusejski Jeruzalem, ali se pobrinuo da se građevine na istočnom dijelu brežuljka, koje su se nalazile na stepeničastom zemljištu, s punjenim („milo“ znači punjenje) učvrste. David je vladao 7 godina u Hebronu i 33 godine u Jeruzalemu. 2 Sam 6,14-15 govori o prijenosu kovčega saveza iz Kirjat Jearima u Jeruzalem. Grob kralja Davida nalazio se u Jeruzalemu na južnoj padini jugoistočnog brežuljka, tik iznad ribnjaka Siloe, u blizini istočnih gradskih zidina. Danas se „Davidov grob“ nalazi u dijelu zgrade gdje se čuva uspomena i na prostoriju Posljednje večere.
Salomon, Davidov sin-nasljednik, izgradio je hram, kraljevsku palaču, svoj dvor od libanonske šume, prijestolni trijem, te kuću faraonovoj kćeri. No, ustanovio je kako je Davidov Jeruzalem za njega premalen, pa ga je dao proširiti i to prema sjeveru. Taj dio iznosio je oko 350 m i na njemu je dao izgraditi sve gore navedene građevine. Teško je rekonstruirati izgled Salomonova hrama. Dana je izvjesno da je Salomonov hram po stilu gradnje sličio feničanskim hramovima. Sastojao se iz predvorja, glavnog dijela ili Svetinje, te Svetinje nad Svetinjama. Iako ukrasi, koji su se nalazili u hramu, nisu pronađeni u arheološkim iskopavanjima, ipak se iz drugih nalazišta može zaključiti što je sve bilo u hramu u Jeruzalemu.
Arheološke iskopine pokazale su nadalje kako je u 8. st. stari jebusejski gradski zid bio vjerojatno dotrajao i pod kraljem Uzijom zamijenjen novim, a u sljedećim stoljećima bio još nekoliko puta dodatno opravljan. Kasnije je u Izaijino vrijeme kralj Ezekija (Hiskija) dao sagraditi kanal kojim je povezao ribnjak Siloe s izvorom Gihon i tako osigurao opskrbu grada vodom za slučaj dugotrajnog opsjedanja grada. Sagrađeni kanal postoji još i danas
Jeruzalem je razrušen, hram opljačkan i zapaljen kad je babilonski kralj Nabokodonozor 586. zauzeo Jeruzalem. Tako je zauvijek nestao Davidov i Salomonov grad. Po povratku iz babilonskog sužanjstva Ezra i Nehemija su organizirali izgradnju hrama i obnovu Jeruzalema. Proroci Tritoizaija, Hagaj i Zaharija govore o naporima u tom smjeru i o važnosti pothvata za egzistenciju Izraela. Kasnije je Herod Veliki nadogradio hram i svojom građevinskom djelatnošću uljepšao grad. Sve je to nestalo u vatri god. 70. pos. Kr. kad su Rimljani zauzeli grad.
Grad se tijekom povijesti očito značajno širio. Jebusejski i Davidov Jeruzalem protezao se na samo 4,7 ha, u doba Heroda Velikoga njegova površina bila je 77 ha, a nakon što je Herod Agripa I. (41.-44. pos. Kr.) proširio gradsko područje podižući i tzv. „treći zid“, grad je imao površinu 106 ha ili čak 156 ha, ovisno o tomu gdje bi bio taj „treći zid“. U Davidovo vrijeme bilo je u gradu oko 2000 stanovnika, a neposredno prije razaranja 70. god. pos. Kr. oko 82 500 stanovnika.
Na kraju važno je pripomenuti i postojanje triju gradskih zidova. Te gradske bedeme opisuje Josip Flavije. Najstariji gradski zid naziva Josip „prvim zidom“ i on bi se nalazio na temeljima starih zidova iz predsužanjskog vremena. Nakon razaranja 586. zid je na starim temeljima bio podignut vjerojatno opet u 2. st. pr. Kr. od strane Hazmonejaca. Prema Josipu zid je imao i 60 kula. Pojedini dijelovi tog zida otkriveni su prilikom arheoloških iskapanja u sjeverozapadnom dijelu Židovske četvrti. Zid je opasivao brdo Sion i najstariji dio grada.
Drugi zid vjerojatno je podignut u 1. st. pr. Kr. i opet vjerojatno od strane Hazmonejaca da bi uvrstio sjeverna područja grada u gradske zidine. Josip Flavije opisuje drugi zid ovako: „Drugi zid je započinjao kod vratiju Gennath, koja su još pripadala prvome zidu, a išao je oko sjevernog okruga grada i protezao se do Antonije.“ (Židov. rat. V, 146. Drugi zid važan je i za određivanje mjesta Isusova razapinjanja, koje je moralo biti izvan gradskih zidina, dakle izvan tzv. „drugoga zida“.
Treći zid sagradio, kao što je već rečeno, Herod Agripa I. da bi njime zaštitio novi dio grada koji je nastao na sjevernom dijelu. Zid je bio konačno gotov pred početak izbijanja prvog židovskog ustanka 66. god. pos. Kr. Taj zid imao je 90 kula. Zid je otkriven u 19. st. i nalazi se oko 500 m od današnjih Damaščanskih vrata. Današnji zid, koji ide oko staroga grada, podigao je 1537. muslimanski vladar Sulejman Veličanstveni.
Arheološka iskopavanja Jeruzalema otkrivaju skrivenu povijest što se nalazi duboko pod zemljom. Ona nam je i ostala sačuvana, jer je bila pod zemljom i na taj način bila zaštićena od nemilosrdnog razaranja brojnih pokoljenja proteklih stoljeća. Ipak, bez obzira na ono što je nađeno i što će se još pronaći u utrobi Jeruzalema, on ostaje sveti grad triju velikih religija koje uz njega vežu velike događaje spasenja.