A vila de Paraty-Mirim, era uma alternativa ao Porto de Paraty para o escoamento do ouro e outras transações comerciais.

Durante o ciclo do café, era também ponto de desembarque de escravos, muitas vezes ilegal, para as lavouras paulistas. Ali havia ainda muitos engenhos e fazendas de cana de açúcar. A partir do século XIX, o lugarejo entrou em decadência.

Deste passado, restam a Igreja de Nossa Senhora da Conceição e as ruínas de outras edificações que faziam parte da casa e do engenho da Fazenda Paraty-Mirim.

O lugarejo de Paraty-Mirim, cercado pelas encostas verdes da Serra do Mar, parece ter sido esquecido no fundo da baía que leva seu nome.