En 1904, les lois contre les congrégations religieuses enseignantes entraînent l’expulsion des frères qui se réfugient en Espagne ( Val d’Aran et Irun ). Le Conseil Municipal adresse à l’Institut un message de soutien et de reconnaissance (disponible un bas de cet article ).
Une grande partie des bâtiments est désaffectée. Reste une petite communauté de frères âgés en charge de l’entretien des bâtiments, du parc et des jardins.
Par contre l’Ecole libre de garçons continue, avec un frère sécularisé .
Pour maintenir, malgré leur exil en Espagne, le souvenir des frères dans ces locaux abandonnés, l’Association Amicale des Anciens Elèves des Frères organise tous les ans dans l’Etablissement des évènements ( sauf pendant la guerre 1914- 1918 ) :
- en mai célébration de la fête de Saint Jean Baptiste de la Salle .
- des séances récréatives et artistiques pour lesquelles une salle des fêtes est aménagée dans les anciens locaux du noviciat .
La grande guerre fut l’occasion d’un rapprochement des Français par-delà les convictions religieuses ou politiques. En août 1925, les frères reviennent à Pibrac après une vingtaine d’années d’absence.