Barreras exteriores del castillo con sus dos entradas norte y sur.
Los datos históricos que se poseen de este castillo comienzan a finales del siglo XIV, durante los últimos años del reinado de Enrique II, cuando Ruy González Mejía, alcaide el castillo de Huélamo, era dueño del lugar de Castillejo, Saelices y Villavieja. A mediados del siglo XV Castillejo era propiedad del duque de Huete, Lope Vázquez de Acuña y Carrillo de Albornoz, permaneciendo en poder de esta familia hasta 1499 cuando fue comprado por los Reyes Católicos.
En 1499 el alcaide de Castillejo era Pedro Patiño de la Flor, vecino de Huete y veedor de la despensa de la reina Isabel y su hijo el príncipe Juan, cargo otorgado por poder real.
En 1508 el rey nombró alcaide de este castillo a Diego Hurtado de Mendoza. Es decir, se puede afirmar que antes del siglo XVI existía un castillo anterior.
En 1571 Felipe II intercambió la propiedad de Castillejo con Gaspar Ramírez de Vargas, regidor de Madrid.
La última modificación en el edificio, consistente en la construcción de un nuevo palacio sobre el arruinado castillo, debió realizarse entre los años 1833 y 1840, durante el periodo de regencia de María Cristina que, al casarse con Agustín Fernando Muñoz y Sánchez, Duque de Riánsares, adquirió la reina por mediación de él una enorme finca en la que estaba incluida la fortaleza de Castillejo.