En un extremo de la población, sobre un lugar elevado y frente a un cerro en el otro lado, en el que probablementre hubo antes otro Castillo, se levanta la denominada Fortaleza, mandada construir por el primer Marqués de Moya, don Andrés de Cabrera, entre 1.520 y 1.540, aunque no llegó a ser concluida.
Esta obre es un claro ejemplo de construcción militar en el S. XVI, adaptada al peligro de la artillería contraria (fuertes muros, no elevada altura, etc.) y a la vez con medios y elementos para la propia artillería del Castillo, con un mayor calibre que la de la época anterior, por lo que desde el exterior destaca por el número de huecos de sus troneras, algunos pequeños siendo meras aperturas sin derrame.
Su planta es casi cuadrada, con cuatro cubos en las esquinas más otro al mediodía en el que se sitúa la Puerta de acceso al edificio.