El origen del pueblo se encuentra en la margen derecha del río y en lo alto de un promontorio rocoso, donde perduran los restos del antiguo castillo medieval, que da nombre a la localidad.
El primer núcleo de población nació al abrigo dicha fortificación, ocupando progresivamente las faldas del monte hasta alcanzar las orillas del río. Fue en el s. XVI cuando se autorizó la construcción de un nuevo poblamiento en la margen izquierda del río, siguiendo una estructura urbanística ordenada y regular.
Las nuevas construcciones se levantaron en torno a dos calles perpendiculares que convergen en la plaza central, donde se edificó la iglesia de San Salvador en el s. XVIII. La unión de ambos barrios fue posible gracias al puente sobre el río, de origen medieval, de un solo ojo y recientemente restaurado.
Junto a dicho puente se encuentra el Centro de Interpretación del Río Vero, donde se presenta la rica variedad de usos, construcciones y ecosistemas ligados a este río.
En el entorno destacan importantes obras hidráulicas como el acueducto de ra Canal (s. XVI).