El Palacio Ducal de los Borgia está ubicado en la parte alta de Castelló de Rugat, en la Plaza Palau. Fue construido por la familia Bellvis en los siglos XIV y XV. Posteriormente pasó a la familia Borgia, quienes lo ampliaron y lo mejoraron. Fue utilizado por estos como residencia de verano. Cuatro fueron las generaciones de la familia Borgia las que disfrutaron de este palacio. Finalmente, la propiedad pasó a los Frasquet, una familia de terratenientes locales, quienes fueron los últimos propietarios del inmueble.
Actualmente, solo se mantiene visible una parte de la fachada, así como trazos de la barbacana defensiva y el huerto que rodeaba el palacio.