Dominant la vallée de la Dordogne, le château dresse sa puissante architecture derrière trois enceintes fortifiées. ll a gardé intact tout son système défensif ainsi que son imposante toiture de lauzes. Les plus anciens vestiges remontent au Xllle siècle.

Après avoir été un repaire cathare, il joua un rôle stratégique durant la guerre de Cent Ans et fut assiégé à maintes reprises.

Demeure gothique au XVe siècle, le château fut de nouveau fortifié au cours des guerres de Religion au XVle siècle. François de Salignac de La Mothe-Fénelon, dit Fénelon, est né au château le 6 août 1651. Sous le règne de Louis XlV, il fut le précepteur du duc de Bourgogne, auteur des Aventures de Télémaque, nommé archevêque duc de Cambrai où il est enterré en 1715. Présence du Musée Fénelon sur le parcourt des visites.