C'est en 1596 que Thibaut Desportes achète le domaine à un certain Nicolas Le Jay. Un château neuf y est construit à la place d'un ancien château fort. L'endroit porte alors le nom de Bévilliers.
En 1712, le château devient la propriété de Claude Charles de Breteuil (1697-1735). À partir de cette date, la demeure restera au sein de la famille de Breteuil.

Le château toujours propriété d'un membre de la famille de Breteuil présente 400 ans d'Histoire de France mise en scène avec 50 personnages de cire réalisés par le Musée Grévin.