Lors d’une visite à Marseille en 1516, François Ier mesure l’importance stratégique du site et ordonne qu’on y dresse une forteresse. Très vite, la forteresse change de fonction et devient prison. 

A partir du XVIIe siècle, les protestants sont jetés en masse dans les cachots. Aux prisonniers de marque cependant, la forteresse offre des conditions de vie tout à fait décentes. Le prisonnier le plus célèbre est sans doute José Custodio Faria qu’Alexandre Dumas rend immortel avec le Comte de Monte-Cristo. On peut encore voir le trou creusé dans le mur d’une des cellules par Edmond Dantès. Après avoir accueilli les insurgés de 1848 et les communards de 1871, la forteresse perdra sa vocation carcérale et sera ouverte au public en 1890.