El Castillo de Vila-seca está íntimamente ligado a la historia de la ciudad.

Símbolo de la villa, el edificio está documentado desde el siglo XII, cuando, durante la repoblación del Camp de Tarragona, el rey Alfonso I el Casto, el arzobispo de Tarragona, Bernat Tort, y Guillem de Tarragona (hijo de Robert d’Aguiló), lo donaron al señor Ramon d’Olzina (1162 y 1168), aunque muy probablemente sus orígenes son anteriores a esta donación.

En el año 1397 la propiedad fue adjudicada a la señora Beatriu de Queralt. Posteriormente pasó a manos de Bernat de Saportella, quien en el año 1525 la vendió al arzobispo Pere Cardona, señor de la vecina Vila-seca del Comú. Con esta compra del Castillo por parte del arzobispo se produjo la unificación de las dos Vila-secas y el conjunto de los dos territorios adoptó el nombre de Vila-seca de los Olzina.

En el año 1680 el arzobispado vendió el Castillo a Johan Kies, cónsul de Holanda en Barcelona.

En el año 1899 el Castillo y sus tierras fueron adquiridos por Isidre de Sicart i Torrents, que transformó la construcción de acuerdo con el proyecto del arquitecto Enric Fatjó i Torras y, a partir de entonces, pasó a identificarse como el Castillo del Conde de Sicart. Por esta razón, la edificación, tal y como la vemos en la actualidad, es de estilo neogótico, con influencias estilísticas del centro y del norte de Europa.

El 22 de octubre de 2005 el Ayuntamiento de Vila-seca adquirió a la familia Sicart-Girona el Castillo y el jardín adyacente.

Gracias a esta adquisición, el Castillo volvió a ser de titularidad pública, y el Ayuntamiento de Vila-seca inició un proceso de restauración y recuperación del edificio y del jardín del Castillo.

Edificio declarado Bien Cultural de Interés Nacional desde el año 1989.