En el término municipal de Cazalilla está documentada la presencia humana desde la Edad del Cobre (III milenio a.C.), tanto por la cerámica de este periodo recogida en su casco urbano como por el asentamiento del cerro de la Coronilla, en el cortijo de la Atalaya, situado sobre una colina con amplio control visual y fortificado. En torno al II milenio este centro se abandonó y volvió a ser ocupado a finales del siglo VI a.C., en la etapa más antigua de la cultura ibérica.
En época romana existió un poblamiento disperso, probablemente "villae", una de ellas situada en el actual emplazamiento de Cazalilla.
De época árabe se encontró en la localidad una lápida sepulcral con el epitafio de un individuo llamado Ahmad b. Mauro o Mawru, que murió en el año 885. Si bien la lápida ratifica la existencia de Cazalilla en época musulmana, los investigadores a la luz del análisis del término Mauro o Mawru, opinan que la localidad ya existiría en época visigoda, pues se trata de una apelativo de raíz latina que podría indicar que se trataba de un muladí (cristiano convertido al Islam).
En tiempos de la conquista castellana aparece el nombre de Caztalliella en la delimitación de términos entre Jaén y Martos, término que se ha identificado con la actual Cazalilla. En el Sínodo de 1311 aparece como una de las parroquias del arciprestazgo de Jaén.
En la segunda mitad del siglo XV, durante la guerra entre la nobleza y el rey Enrique IV, Cazalilla es nombrada en diversas ocasiones en relación a su castillo. Uno de los hechos más significativos fue el acaecido el 23 de diciembre de 1471, en el que Fernando de Acuña, hijo del conde de Buendía, sobrino del arzobispo de Toledo, fue prendido por el alcalde del castillo Diego de Frías, quien lo entregó al condestable Iranzo. De este castillo tan sólo queda el dibujo realizado por Ximena Jurado en el siglo XVII.
Éste no fue el único castillo que existió en época medieval en el término de Cazalilla; a unos cinco kilómetros se encontraba el Castillo de María Martín, del que prácticamente ha desaparecido su torre, hecha de mampostería irregular.
En la Edad Moderna la localidad sigue las pautas del resto de la provincia: recuperación socioeconómica en el siglo XVI y depresión en el XVII y parte del XVIII. Un hecho cabe destacar en el siglo XVII: el cambio institucional a villa, con la consiguiente segregación jurisdiccional de la ciudad de Jaén, a la que hasta la fecha había pertenecido en calidad de aldea.