En 1985 el Arzobispo de Bs. As. aprueba los planos para la construcción de un nuevo templo que reemplazó a la "Iglesia Primitiva" ubicada a 100 mts. de la actual iglesia. El nombre San José se decide por licitación pública y se debe al patrono del trabajo ya que por ese entonces Olavarría era conocida como la ciudad del trabajo. La nueva iglesia se construyó en una superficie de 50 metros por 22, en estilo europeo clásico, con dos torres y el campanario.
La fachada es remodelada en 1935 por la firma Améndola, Marano y Cia. En 1978 el arquitecto Luis M. Vivanco propuso demoler su interior y conservar su fachada, fue la que se aprobó; un techo de tres bóvedas construidas en ladrillo que apoyadas en cinco vigas de hormigón armado, descansan sobre columnas ubicadas a la altura del altar y de la entrada a la iglesia.