Anteriormente fue castro romano y la edificación actual tiene definitivamente origen árabe, del año 760.
Durante la Edad Media fue sometido a diferentes reformas y reconstrucciones. Entre los años 1901 y 1936 fue restaurado por su propietario, Rafael Desmaissieres y Farina, XIIº Conde de Torralva, bajo la dirección técnica del arquitecto Adolfo Fernández Casanova.
Las torres más importantes son la Cuadrada, la Redonda y del Homenaje.
