Rašytiniuose šaltiniuose Kryžių kalnas pirmąkart paminėtas XIX a. viduryje: „Vienas iš Jurgaičių gyventojų 1847 m. sunkiai sirgdamas Dievui pažadėjo, kad, jei nuo ligos gyvas liks, tai ant to kalno pastatys kryžių. Atsitiko taip, kad anas pagijo kryžių ten statydamas. Kaip tiktai toji žinia išplito tarp žmonių, taip per tris metus iš tolimesnių kaimų tiek daug kryžių čia privežė ir pastatė, kad jų skaitlingumą dabar matome“.
Sovietmečiu Kryžių kalnas tapo plačiai žinomu, netgi užsienyje, kovos už tikėjimo laisvę simboliu. Juo labiau stengėsi okupantų valdžia kalną sunaikinti, netgi su žeme sulyginti, juo labiau jis klestėjo. Juo labiau buvo stengiamasi užgniaužti kryžių statymą, juo daugiau jų čia buvo statoma. Sunkiais okupacijos dešimtmečiais ypač atsiskleidė kryžiaus, kaip stiprybės ir vilties šaltinio, prasmė. Kryžių kalnas buvo pramintas lietuviškąja Golgota.