Después de la reconquista de la zona y la delimitación de la frontera por Alfonso III en el río Duero, se inició la repoblación alrededor de una iglesia primitiva. En el siglo XI, con la unificación de los reinos de Castilla y León por Fernando I, se convirtió en una «villa realenga». En ese momento, fue donada a la Orden de San Juan de Jerusalén, hasta que pasó a manos de la familia Meneses en 1195, por orden de Alfonso VIII.

En el siglo XIV, perteneció a don Juan Alfonso de Alburquerque, y entre 1522 y 1752 estuvo bajo el señorío de los Castilnuovo. En 1860, fue adquirido por Cipriano de Rivas, secretario real, cuyos descendientes son los actuales propietarios.

En 1931, se declaró Monumento Histórico. Aunque gran parte de la muralla, que en el siglo XV tenía más de 1 km de perímetro, se ha perdido, aún se conservan tramos significativos. La muralla contaba con al menos 2 puertas y 36 torres semicirculares, de las cuales todavía se pueden contemplar 7, algunas de las cuales han sido restauradas y acondicionadas para su visita.

El origen del castillo, ubicado en un extremo de la villa amurallada, es incierto y se plantean diferentes hipótesis sobre quién lo construyó, ya sea los sanjuanistas, la familia Meneses o incluso los Templarios.

El castillo es una construcción muy singular, un castillo-palacio completamente abovedado siguiendo los estilos y técnicas cistercienses. Se caracteriza por su estructura de 2 niveles superpuestos de bóvedas de crucería. Tiene planta rectangular y cuenta con 9 torres, 7 de ellas macizas y 2 con salas interiores abovedadas.

Aunque el acceso al castillo es privado y no está abierto al público, la Oficina de Turismo organiza la proyección de un video explicativo sobre el castillo, así como la posibilidad de visitar los restos de la muralla y las torres restauradas.