Em 1928, o arcebispo de São Paulo, Dom Duarte Leopoldo e Silva, quis criar Paróquias nos Jardins no seu jubileu episcopal de prata. Queria também entregar uma paróquia aos Cônegos Premonstratenses. A Igreja foi construída num terreno doado pelo Sr. Manoel Garcia e sua esposa Henriqueta Rodovalho Lebre. Uma parte das despesas ficou a cargo da Sra. Noemia Inglez de Souza Junqueira.
A pedra fundamental foi colocada no dia 19 de março de 1929. A criação oficial da Paróquia e da Igreja São José do Jardim Europa deu-se no dia 19 de março de 1930 às 9h com a celebração da 1ª missa pelo Côn. Melchior Rodrigues do Prado tendo como padroeiro São José, pois foram oficialmente inauguradas no dia desse Santo. O estilo e a arquitetura atuais são cópia de uma Igreja de Bolonha, Itália.
Segundo o relato verbal do Dr. José Eugênio de Rezende Barbosa. O 1º ato religioso marcante foi a comunhão de 40 crianças do bairro do Itaim, no dia 30 de março de 1930. O bairro foi crescendo e a população aumentando.
A igreja passou por muitos retoques. Foi revestida de pequenas lajotas amarelas de cerâmica. O piso de lajotas grandes de cerâmica igualmente foi substituído por mármore cinzento legitimo. Depois disso e ao longo do tempo vem sofrendo pequenos reparos ficando assim de acordo com o bairro do Jardim Europa de classe média e de classe média alta.
Por exigência da Prefeitura a Igreja São José do Jardim Europa, assim como outras igrejas, passou por uma grande restauração e reforma, cumprindo um longo laudo técnico. Hoje é um ponto de referência cristã-católica do bairro, é bastante frequentada por famílias tradicionais do próprio bairro e de outros. Não possui oficialmente nenhuma capela dependente. Contido há vários movimentos religiosos católicos que acontecem nas residências. E um fenômeno geral e um renascimento religioso a que assistimos hoje. A grande maioria das pessoas que frequentam esses grupos e movimentos frequenta normalmente a Igreja, participando das missas e de algumas pastorais.