Enceinte fortifiée du XIIIème au XIVème siècle, sans doute construite sur les vestiges d'un premier édifice du VIIIème siècle, le castrum appartient depuis 1232 à la puissante famille des Baux. C'est à l'intérieur de ce "Castrum" que s'est développé le Cassis médiéval qui cherchait à se protéger des invasions barbares et des brigands. À la fin du XVème siècle, cette forteresse abritait plus de 250 habitants. Prise d'assaut en 1524 par les troupes de Charles Quint, la Citadelle sera ensuite progressivement délaissée au profit du bourg en bordure de rivage et deviendra un fort militaire. En 1794, le jeune général Bonaparte fait une halte au château pour inspecter les batteries militaires qui seront détruites par les Anglais en 1813. Vendu par l’administration des domaines en 1896 à un buraliste de Saint Cyr puis revendu à plusieurs reprises, le château est depuis lors une propriété privée, aménagée en chambres d'hôtes de luxe.