Pour ceinturer le promontoire, une enceinte basse du XVIe s., garnie de bouches à feu, se substitua à l'enceinte villageoise du XIVe s. La population étant partie depuis un siècle environ, la forteresse occupa l'ensemble du site. Désormais le duché de Savoie était exposé aux invasions françaises.
L'ingénieur Carlo Morello dressa alors le seul dessin du château que l'on connaisse (1656).

Une épaisse couche de démolition du XVIIe s. marque la Guerre de la Ligue d'Augsbourg, qui vit l'invasion du Comté de Nice.

Comme Sainte Agnès avait encouragé à la résistance le bourg voisin de Peille, Louis XIV ordonna au chevalier de La Fare de détruire le château (1691). Puis le traité de Turin rendit le comté au duc de Savoie. La destruction ne fut pas totale et la forteresse joua à nouveau un rôle lors de la Guerre de Succession d’Autriche entre 1744 et 1748, elle fut prise et reprise plusieurs fois. En 1748 le Comté de Nice fut rendu au roi de Sardaigne. Après une première annexion à la France entre 1793 et 1814, la seconde annexion eut lieu en 1860.