Le premier séminaire construit sur la rue de la Madone jugé trop petit, Mgr Limoges choisit la colline Alix pour installer son nouveau séminaire. Les travaux de construction débutent en 1930. Tout au long de son existence, les supérieurs de cette institution parviendront du clergé. En 1965, la Corporation épiscopale de Mont-Laurier vend le Séminaire à la Commission scolaire Pierre-Neveu qui, en plus des cours de base, offre un cours classique et commercial. On y retrouve tous les services d'un grand centre éducationnel, son nom est maintenant Polyvalente Saint-Joseph. En 1969, les cours dispensés à l'école des Arts et Métiers sont intégrés à la polyvalente. En 1971, on fait de gros travaux d'agrandissement qui permet l'aménagement, entre autres, d'une cafétéria et d'une palestre.