Замок Саморы находится в северо-восточной части города, на улице Кастильо ("castillo" по-испански — "замок"). Рядом с замком находится парк Кастильо с садами и смотровой площадкой, появившийся после реформ, проведенных в XVI-XVIII веках.

История происхождения замка представляется неясной. Согласно хроникам, его приказал построить король Альфонсо II Целомудренный. Но по результатам исследований ряда историков, возможно, замок был возведен по приказу короля Фердинанда I Великого. Предполагается, что замок датируется серединой XI века. В любом случае, от оригинальной постройки сохранилось очень немногое.

С момента возникновения и в последующие века замок играл заметную роль в истории Испании, выполняя роль бастиона при защите от мавров, кастильцев и португальцев. Во времена правления короля Филиппа V замок был реформирован с целью приспособления к новым военным техникам того времени, таким как могущественная артиллерия.

Крепость была построена на скале и повторяет контуры окружающего ландшафта. Сохранился периметр крепостных стен, окруженных глубоким рвом. До наших дней дожили основные стены, оружейный двор и дозорная башня. Замок Саморы имеет основание в виде ромба с тремя башнями — двумя пятигранной формы и одной шестигранной. Толщина крепостных стен больше двух с половиной метров. Чтобы попасть туда, нужно перейти мост, ведущий к воротам со стрельчатой аркой, который ранее был подъемным.

Сегодня замок находится в собственности Министерства образования, культуры и спорта, ответственного за его сохранение. При нем здесь была открыта городская школа искусств.

Теперь замок реставрируется, в нем планируют открыть музей Бальтасара Лобо. В ходе реставрации были найдены ранее неизвестные архитектурные элементы, например, несколько крепостных башен. В процессе последних раскопок также были обнаружены археологические находки, относящиеся к Бронзовому веку. Проект здания, в котором разместится музей, разрабатывает испанский архитектор Рафаэль Монео.

С 1931 года замок Саморы находится под охраной государства.