As terras onde o templo em homenagem a São José foi construído faziam parte de sesmaria de Domingos Lopes de Carvalho que, em 1822, depois da construção, doou o terreno à igreja. A jurisdição da paróquia chegou a abranger as terras que hoje correspondem aos municípios de Petrópolis, Areal, Três Rios, Sapucaia, Sumidouro, Duas Barras, Nova Friburgo e Teresópolis.
Reflexo da importância da religião na época, era na Igreja Matriz que eram feitos registros de nascimento, casamento, óbitos e escrituras de terras, além de ser através dela que se realizavam escolha de juízes de paz e vereadores, leilões de escravos e registros de testamentos, situação que perdurou até a proclamação da República.
Da construção original, tem-se apenas a primeira torre, nos fundos da Igreja, onde se encontrava sua porta principal. Além da torre original mantida, foram construídas duas torres novas, numa série de reformas que datam de 1841. Nos fundos da Igreja, estava instalado o Cemitério da Freguesia, que em 1859 foi transferido para o alto do morro próximo à Igreja.