Tal y como atestiguan los diferentes escritos y documentos que han llegado hasta nuestros días, la construcción de la primera Ermita se comenzaron en 1287 y terminaron en 1304. Esta edificación primitiva distaba mucho del majestuoso Santuario que contemplamos hoy en día.
El Concilio de Trento celebrado en el Siglo XVI que fomentaba el culto a la Virgen y los Santos supuso una gran expansión de la Romería, ante el creciente número de peregrinos se comienzan a construir una serie de edificaciones para la acogida de los peregrinos y de las numerosas Cofradías filiales que se fundaban por todo el Reino de Jaén y alrededores.
A comienzos del siglo XVI la Ermita primitiva hubo de ser reemplazada por un templo de mayores dimensiones, entre los años 1530 y 1590, la Ermita se convirtió en un Santuario muy parecido al que podemos contemplar hoy, quedando finalizadas totalmente las obras en 1611. Durante el siglo XVII la invasión Francesa y las desamortizaciones hacen que la Romería tenga menos afluencia, de hecho la Imagen hubo de ser trasladada en varias ocasiones a Andújar para salvaguardarla de posibles ultrajes.