Sur le flanc droit (sud) de l'église, une vingtaine de corps étaient enterrés, tournés vers l'Est.
A ce niveau existent plusieurs habitats, aux rochers très grossièrement aménagés.

Hélas, les pierres des murs ont été réutilisées pour le village actuel qui se développe à partir des environs de 1400, et pour l'enceinte du XVIe s.

Le logis du castellan (chef de la garnison) est délimité par une base de mur, typique du XIIe s., présentant un appareil en assises très régulières, formé de belles pierres de tailles.
Le donjon contemporain devait se trouver sur le rocher sommital (mais il a été reconstruit au XIVe siècle). L'ensemble formait alors un périmètre défensif très réduit.

Le château apparaît dans les textes à partir des années 1170. Il appartient au comté de Vintimille qui s'étend jusqu'au Mont Agel. Les atouts de ce nid d'aigle sont incomparables. La Commune de Vintimille, jalouse de ses franchises, le prit trois fois d'assaut (entre 1177 et 1187) sans pouvoir s'y maintenir, et de très nombreuses pointes de flèches de cette époque ont été mises au jour.
Finalement, le comté de Vintimille disparut en 1258 : Sainte Agnès fut vendue avec toute la région au comte de Provence, Charles d'Anjou. La forteresse qui avait été jusque là sur les marges occidentales du comté de Vintimille, se trouva sur les marges orientales