Дворец Пиментель, прежде всего, знаменит тем, что именно здесь в 1527 году родился великий Король Испании Филипп II. Строительные работы начались по приказу Маркеса де Асторга, затем замок перешел в собственность Бернардино Пиментель. Позднее в 1875 году дворец покупает Совет Провинции Вальядолид, который до сих пор проводит здесь свои заседания. При строительстве дворца использовался в основном кирпич, только углы и центральная часть были выложены из камня. В 1985 году во дворце прошли серьезные реконструкционные работы по проекту известного и талантливого архитектора Анхеля Риоса.