Construit au milieu du XIIe siècle par Gauthier Ier de Villebéon, grand chambellan des rois Louis VII et Philippe Auguste, le château de Nemours devient à partir du XVe siècle propriété de la famille d'Armagnac. En 1673, Louis XIV donne le duché de Nemours en apanage à son frère Philippe d'Orléans.

Le château devient musée en 1903 et obtient le label "Musée de France" suite à la loi-musée du 4 janvier 2002.