En un extremo de la población, sobre un lugar elevado y frente a un cerro en el otro lado, en el que probablementre hubo antes otro Castillo, se levanta la denominada Fortaleza, mandada construir por el primer Marqués de Moya, don Andrés de Cabrera, entre 1.520 y 1.540, aunque no llegó a ser concluida.