O primeiro castelo em pedra foi construído pelo Barão Robert I de Vitré no final do século XI substituindo um castelo em madeira de cerca do ano 1000. No século XIII, o Barão André III deu-lhe a sua forma atual.

Nos séculos XV e XVI prevaleceu a procura do conforto e reformas em estilo renascentista. O Parlamento da Bretanha refugiou-se no edifício em três ocasiões (1564, 1582 e 1583) por ocasião de epidemias de peste.

Entre 1547 e 1605, Vitré tornou-se bastião huguenote. Em 1605, o castelo passou para a família católica de La Trémoille. Ficou abandonado no século XVII.