Joseph Lafontaine s'inspire de différents modèles de maisons observés lors de ces voyages pour concevoir le plan de la future maison qu'il désire construite à proximité de la résidence de son père Cyrille. La construction de cette imposante maison débute en 1908. Plusieurs éléments architecturaux, comme la tourelle, la grande galerie couverte et les ornements, sont inspirés du style victorien. La finition intérieure des pièces, comme le salon et la salle à manger, s'est faite au fur et à mesure de la coupe du bois de frêne pris sur le lot. Ce bois est ensuite transporté à Notre- Dame-du-Laus pour y subir les transformations nécessaires et ramené à Ferme-Neuve, toujours par voie d'eau. L'ébéniste Racine créera la décoration intérieure encore en bonne partie intacte aujourd'hui.

En 1946, la maison est agrandie par l'ajout d'une annexe à l'arrière pour y loger le fils Jacques et son épouse. Ils habiteront cette maison jusqu'à leur décès.