Il ne reste qu'un pan de mur en ruine du premier château du XIIe s. Le château sera reconstruit, puis détruit après la défaite des Bretons contre la France en 1488, puis à nouveau reconstruit grâce à la dotation d'Anne de Bretagne, future reine de France. A nouveau détruit après la Révolution française, les communs seront transformés en manoir au XXe s.