Como remover duplicidades de uma lista de empresas sem perder contatos úteis

Duplicidades em uma lista de empresas aumentam custos, confundem métricas e podem fazer a mesma organização receber abordagens repetidas. Mas apagar linhas iguais sem uma regra clara também é perigoso: matriz e filial podem representar operações distintas, e registros aparentemente repetidos podem conter telefones, e-mails ou contextos úteis. A deduplicação correta identifica entidades, preserva informação e mantém um histórico auditável.

O que é uma duplicidade em uma lista de empresas?

É a presença de dois ou mais registros que representam a mesma entidade para a finalidade daquela lista. A definição depende da unidade de análise. Se o objetivo é abordar cada estabelecimento, matriz e filiais não são duplicidades. Se o objetivo é falar uma vez com cada grupo empresarial, vários estabelecimentos da mesma raiz de CNPJ podem precisar ser consolidados.

Por isso, a primeira pergunta não é “quais linhas parecem iguais?”, mas “o que deve representar uma linha final?”.

Defina a unidade de análise antes de limpar

Escolha uma regra coerente com o uso da lista:

• Estabelecimento: uma linha por CNPJ completo, incluindo o número de ordem.
• Empresa: uma linha por raiz do CNPJ, reunindo matriz e filiais quando fizer sentido.
• Local de operação: uma linha por estabelecimento e endereço validado.
• Conta comercial: uma linha por organização tratada como cliente ou prospect no CRM.
• Contato: uma linha por pessoa ou canal, vinculada à empresa correspondente.

Sem essa definição, uma deduplicação pode excluir filiais importantes ou manter várias linhas que deveriam compor uma única conta.

Use o CNPJ como chave principal

CNPJ completo

O CNPJ completo identifica um estabelecimento específico. Após remover pontuação e normalizar o valor, registros com o mesmo CNPJ completo são candidatos fortes a duplicidade. Ainda assim, compare as datas e fontes, pois uma linha pode conter dados mais recentes ou campos complementares.

Raiz do CNPJ

Os oito primeiros dígitos formam a raiz que relaciona estabelecimentos de uma mesma entidade empresarial. Agrupar por raiz ajuda a identificar matrizes e filiais, mas não significa que todas devam virar uma única linha. Cada unidade pode ter endereço, CNAE, telefone e função operacional diferentes.

Razão social e nome fantasia

Nomes são úteis para revisão, mas não devem ser a chave principal. Abreviações, acentos, mudanças cadastrais, marcas compartilhadas e erros de digitação podem gerar falsos positivos ou esconder duplicidades. Use nome como sinal auxiliar, sempre que possível confirmado por CNPJ.

Normalize os campos antes de comparar

A mesma informação pode aparecer escrita de maneiras diferentes. Crie uma camada de normalização sem sobrescrever o valor original.

• CNPJ: manter apenas dígitos e validar o comprimento esperado.
• Razão social: converter para uma caixa única, remover espaços extras e padronizar caracteres.
• Telefone: manter dígitos, separar código do país e DDD quando disponíveis.
• E-mail: remover espaços, usar caixa minúscula e validar o formato.
• Endereço: padronizar abreviações com cautela e manter número, complemento, CEP e município separados.
• Site: remover protocolos e barras finais apenas na chave de comparação, preservando a URL original.

Não remova termos da razão social de forma agressiva. Expressões como “filial”, “unidade” ou referências geográficas podem ajudar a distinguir estabelecimentos.

Crie níveis de confiança para as correspondências

Duplicidade exata

Ocorre quando o CNPJ completo normalizado é igual. Esses registros podem ser consolidados com alta confiança, desde que os campos sejam combinados segundo uma regra de sobrevivência.

Possível duplicidade empresarial

Ocorre quando a raiz do CNPJ é igual, mas os CNPJs completos são diferentes. Em geral, trata-se de matriz e filial. O sistema deve agrupar ou relacionar, não apagar automaticamente.

Possível duplicidade por contato

Telefone, e-mail, domínio ou endereço iguais podem sugerir relação, mas também são compartilhados por grupos empresariais, escritórios contábeis, franquias ou centrais de atendimento. Use esses sinais para revisão, não como prova isolada.

Correspondência aproximada por nome

Nomes semelhantes podem ajudar quando o CNPJ está ausente, porém exigem mais cautela. Defina limites, compare localização e contatos, e encaminhe casos ambíguos para revisão humana.

Como escolher qual registro deve sobreviver

Consolidar não significa simplesmente manter a primeira linha. Crie uma política de sobrevivência por campo.

• Preferir a fonte considerada mais confiável para dados cadastrais.
• Preferir o registro com data de atualização mais recente quando as fontes forem equivalentes.
• Manter o valor válido e completo quando o outro estiver vazio ou malformado.
• Preservar múltiplos telefones e e-mails válidos em campos separados ou em uma tabela relacionada.
• Não misturar endereço de matriz com endereço de filial em um registro sem identificação.
• Registrar a origem de cada informação importante.

Quando houver conflito real, não escolha silenciosamente. Marque o campo para validação ou mantenha os dois valores com fonte e data.

Exemplo prático de consolidação

Imagine duas linhas com o mesmo CNPJ. A primeira possui razão social, endereço e telefone fixo; a segunda possui o mesmo endereço, um site e um e-mail comercial. O registro final pode manter os dados cadastrais da fonte mais confiável e incorporar o site e o e-mail como informações complementares, guardando a origem de cada um.

Agora imagine dois CNPJs diferentes com a mesma raiz: um é matriz em São Paulo e outro é filial em Curitiba. Se a lista representa estabelecimentos, mantenha as duas linhas. Se representa contas comerciais, crie uma conta principal ligada a duas unidades, em vez de apagar a filial.

Separe empresa, estabelecimento e contato

Uma estrutura relacional reduz duplicidades sem sacrificar informação:

• Empresa: raiz do CNPJ e atributos comuns ao grupo.
• Estabelecimento: CNPJ completo, matriz ou filial, endereço e atividades.
• Contato: pessoa, e-mail ou telefone associado a uma empresa ou estabelecimento.
• Origem: fonte, data de coleta e regra utilizada.

Essa separação permite que um grupo tenha várias unidades e que uma unidade tenha vários contatos, evitando repetir todas as colunas em cada linha.

Um fluxo seguro de deduplicação

1. Preserve uma cópia da base original

Nunca execute uma limpeza irreversível sobre a única versão disponível. Gere um identificador para cada linha e registre quando o processo ocorreu.

2. Padronize valores em colunas auxiliares

Mantenha os campos originais e crie chaves normalizadas para comparação. Isso facilita auditoria e correções.

3. Agrupe por CNPJ completo

Resolva primeiro as duplicidades exatas. Compare fontes, datas e completude antes de consolidar.

4. Relacione registros pela raiz do CNPJ

Identifique matrizes e filiais sem apagá-las. Decida se o resultado final será por estabelecimento ou conta.

5. Analise contatos e nomes semelhantes

Use telefone, e-mail, domínio, endereço e similaridade de nomes como sinais secundários. Separe os casos de alta confiança daqueles que precisam de revisão.

6. Aplique a política de sobrevivência

Combine campos, mantenha múltiplos valores úteis e registre a origem. Não substitua informação válida por um campo vazio.

7. Valide uma amostra

Revise grupos consolidados e registros mantidos separadamente. Observe falsos positivos, filiais removidas indevidamente e contatos perdidos.

8. Gere um relatório de alterações

Registre quantas linhas foram agrupadas, quais chaves foram usadas, quantos casos ficaram pendentes e quais registros originaram cada resultado.

Como medir a qualidade do processo

• Taxa de registros com CNPJ válido antes e depois da limpeza.
• Quantidade de duplicidades exatas consolidadas.
• Quantidade de grupos de matriz e filiais identificados.
• Casos ambíguos enviados para revisão.
• Telefones, e-mails e endereços preservados após a consolidação.
• Falsos positivos encontrados na amostra de validação.

Evite celebrar apenas a redução no número de linhas. Uma base menor pode ter pior qualidade se a limpeza eliminar unidades ou contatos úteis.

Erros comuns ao remover duplicidades

• Deduplicar apenas pelo nome da empresa.
• Tratar a raiz do CNPJ como se fosse o CNPJ completo.
• Apagar filiais sem considerar a finalidade da lista.
• Manter sempre a primeira linha, independentemente da fonte e da atualização.
• Sobrescrever dados válidos por campos vazios.
• Excluir telefones ou e-mails alternativos durante a consolidação.
• Usar telefone compartilhado como prova de que duas empresas são iguais.
• Não guardar histórico das linhas originais.

Deduplicação contínua, não apenas uma limpeza pontual

Implemente verificações na entrada de novos dados. Antes de criar um registro, procure CNPJ completo, raiz, identificadores internos e chaves normalizadas. Quando a fonte for atualizada, compare versões em vez de simplesmente anexar novas linhas.

Versione as regras. Se a unidade de análise mudar de estabelecimento para conta comercial, a forma de deduplicar também muda. Documentar essa decisão evita resultados inconsistentes entre cargas.

LGPD e governança dos contatos

Ao consolidar telefones, e-mails e nomes de pessoas, aplique princípios de finalidade, necessidade, qualidade e segurança previstos na LGPD. A deduplicação pode melhorar a qualidade dos dados, mas não cria autorização automática para usar contatos em qualquer finalidade.

Defina acesso, prazo de retenção, procedimentos de correção e oposição, e elimine dados pessoais que não sejam necessários ao objetivo declarado. Mantenha rastreabilidade suficiente para corrigir um contato em todos os registros relacionados.

Perguntas frequentes

CNPJ igual significa duplicidade?

Em geral, indica o mesmo estabelecimento. Antes de apagar uma linha, consolide campos complementares, confira fontes e preserve o histórico.

Matriz e filial são duplicidades?

Não necessariamente. Elas compartilham a raiz do CNPJ, mas possuem CNPJs completos e operações próprias. A decisão depende de a lista representar estabelecimentos ou contas.

Posso deduplicar apenas por telefone?

Não é recomendável. Telefones podem ser compartilhados por grupos, franquias, contabilidades ou centrais. Use-os como sinal secundário.

O que fazer quando o CNPJ está ausente?

Combine nome normalizado, endereço, domínio, telefone e fonte, atribua um nível de confiança e revise casos ambíguos manualmente.

Devo manter vários contatos da mesma empresa?

Sim, quando forem válidos e relevantes. Guarde-os em registros relacionados, indicando tipo, origem, data e vínculo com matriz ou filial.

Fontes de referência

Receita Federal — Dados Abertos do CNPJ

Receita Federal — Cadastro Nacional da Pessoa Jurídica

ANPD — Proteção de dados pessoais e orientações

Lei nº 13.709/2018 — Lei Geral de Proteção de Dados Pessoais

Conclusão

Remover duplicidades de uma lista de empresas é um trabalho de identidade e governança, não apenas de apagar linhas. Defina se cada registro representa uma empresa, estabelecimento, conta ou contato; use CNPJ completo e raiz corretamente; consolide campos com regras transparentes; e mantenha rastreabilidade. Assim, a lista fica mais limpa sem perder filiais, canais ou contexto que podem ser importantes para a prospecção.