El Castell de Vila-seca està íntimament lligat a la història de la ciutat. Símbol de la vila, l’edifici està documentat des del segle XII.
Fou construït durant el repoblament del Camp de Tarragona per Ramon d’Olzina, primer senyor feudal de Vila-seca per ordre del rei Alfons I el Cast, l’arquebisbe Bernat Tort i Guillem de Tarragona.
Posteriorment va passar a mans de l’Arquebisbat de Tarragona, que el 1680 el va vendre a Johan Kies, cònsol d’Holanda a Barcelona.

L’any 1899 el castell i les seves terres van ser adquirides per Isidre de Sicart i Torrents, que va fer transformar la construcció d’acord amb el projecte de l’arquitecte Enric Fatjó i Torras i, a partir d’aleshores, passà a identificar-se com el Castell del Comte de Sicart. Per aquesta raó, l’edificació, tal i com la veiem en l’actualitat, és d’estil neogòtic, amb influències estilístiques del centre i del nord d’Europa.

El 22 d’octubre de 2005, el ple de l’Ajuntament de Vila-seca va aprovar l’adquisició d’aquest castell i del jardí adjacent.

El 11 de març de 2020, el Castell de Vila-seca ha obert les seves portes per acollir la primera de les exposicions en l’acord de col·laboració amb la Fundació Vila Casas.