En el centro de Cazalilla se encuentra su edificio más significativo, la iglesia parroquial de Santa María Magdalena, que destaca tanto por su volumetría y altura como por la calidad de sus materiales constructivos y su belleza artística. Llama la atención especialmente la prestancia de su torre, asentada sobre un basamento pétreo, de planta cuadrada, con estilizados huecos de campanas con arco de medio punto, que se cierra con un chapitel piramidal, y cuya construcción debió acometerse a finales del siglo XVII.
Está compuesta por un alargado cuerpo en el que se abre un vano de moldura de oreja y, alineado con él, pero en la altura, un escudo episcopal. Una cornisa lo separa del campanario. En éste se abren huecos con arco de medio punto que descansan en impostas, que se prolongan a modo de listel por todo el perímetro. En el antepecho de un hueco se ha colocado un reloj de esfera. Un estrecho cuerpo recibe la cubierta. También tienen interés la fachada pintada a los pies de la iglesia y su portada.

Pegada a la iglesia parroquial se conserva la denominada Torre de Calígula, un torreón semicircular del antiguo castillo. Este castillo alcanzó en época del Condestable Iranzo el nivel de segundo rango, jugó un papel importante al tomar partido, como Andújar, por el bando realista cuando en 1465 los enemigos del rey pusieron sitio a Jaén, y se hizo famoso cuando, seis años después, el alcaide Diego Frías detuvo y mandó encerrar en su torre a un rival del Condestable, don Fernando de Acuña, hijo del conde de Buendía y nada menos que sobrino del arzobispo de Toledo.
En realidad el castillo, de pequeñas dimensiones, lo formaba una torre cilíndrica con remate de parapeto almenado, tal como la dibujó Martín de Ximena Jurado. Una piedra de la torre superior parece que tenía una inscripción, probablemente árabe. De esta torre no ha quedado ni rastro en el pueblo. Sin embargo la cabecera de la iglesia presenta un cerramiento que podría corresponder a restos del castillo. Este sólido muro semicircular de mampostería pudo ser reaprovechado a partir de una torre redonda de grandes proporciones, hermana de las de los castillos de Rus y El Mármol, en tierras de Baeza.
Este torreón fue declarado Bien de Interés Cultural en 1985.

El antiguo castillo de Cazalilla no fue el único de su término, ya que a unos cinco kilómetros se encontraba el castillo de María Martín o de Fuente Tétar, del que ya prácticamente ha desaparecido su torre del homenaje hecha de mampostería. Se conservan igualmente la Casa de la Inquisición, muy desvirtuada de su estado original, ya que sus piedras se encuentran encaladas totalmente; la Casa de la Carrillera, del siglo XVII; y la Casa del Pósito, hoy reconstruida por su actual dueño.

Galería de imágenes