Après le siège de la ville, le collège est confié aux jésuites qui acquièrent auprès du futur duc de Saint-Simon une partie de l'actuel Jardin des plantes de La Rochelle (en) qu'ils relient au collège par un passage souterrain voûté. La chapelle, construite sous la direction du frère Mercier, est consacrée le 8 août 1638.
Suite à l'expulsion des jésuites en 1763, le collège est alors confié au clergé séculier jusqu'à sa fermeture en 1792.
Réouvert en 1803, les bâtiments sont reconstruits en 1838, sur des plans de Brossard.
Le collège est érigé successivement en collège royal puis national, avant de devenir lycée départemental puis impérial.
La porte sur la rue du collège est remplacée en 1869, la porte renaissance étant alors déposée dans le jardin de la bibliothèque municipale.
En 1974, le lycée redevient collège. Il porte le nom du peintre Eugène Fromentin.
