Em Que Língua Foi Escrito

Como descobrir o idioma de um texto ou documento

Sempre precisei identificar idiomas em textos, sejam páginas raspadas, documentos legais ou conteúdo gerado por usuários. A maioria das pessoas tenta resolver isso abrindo um site de detecção online, mas na prática esses serviços são imprecisos para trechos curtos e cheios de ruído. Quando eu trabalhava com processamento de linguagem natural, passava horas ajustando detectores e descobrindo que o problema nunca era só o algoritmo em si. Era a qualidade dos dados de entrada e a escolha da biblioteca certa para o caso.

o básico: em que língua foi escrito

A pergunta "em que língua foi escrito" parece simples, mas a resposta depende de quantas linhas você tem, se há palavras estrangeiras misturadas, e se o texto contém sinais ortográficos típicos (acentos, ligaduras, alfabeto cirílico). Um parágrafo em português com muitas siglas em inglês pode ser classificado erroneamente como espanhol ou inglês por detectores ingênuos. O que determina a precisão é o tamanho do corpus e o nível de especificidade do modelo.

Métodos técnicos de detecção

O método mais usado em produção é análise de n-gramas de caracteres combinada com probabilidades de transição. Cada idioma tem padrões próprios de frequência: "ç" e "ã" pesam muito para português, "ß" e "ü" para alemão, "" e "" para russo. Bibliotecas como langdetect (Python) e fastText language identification (Facebook/Meta) usam exatamente essa abordagem. A fastText é particularmente interessante porque roda em milissegundos e suporta mais de 180 idiomas. Um detalhe que poucos levam em conta: a fastText foi treinada predominantemente com Wikipedia, que tem vocabulário formal e estruturado. Se você rodar o modelo em textos de redes sociais, legendas de vídeo ou transcrições de áudio, a taxa de erro sobe drasticamente. Eu me deparei com isso em 2023 quando precisei classificar comentários em português brasileiro cheia de gírias regionais e erros de digitação. O detector marcada 40% dos comentários como espanhol. A solução foi treinar um modelo customizado com um dataset de 50 mil exemplos rotulados manualmente e adicionar uma camada de pós-processamento que usava regras baseadas em palavras-chave de desambiguação entre pt-BR e es.

Opções práticas para usar hoje

Se você só precisa de uma resposta rápida sem configurar nada, o site language-detection.com funciona para textos médios e longos. Para integração em código, a biblioteca langdetect do Python é a mais acessível: from langdetect import detect
detect("Olá, como vai você?")

Isso retorna "pt" para português. Mas tome cuidado: se passar apenas "Olá", o resultado pode variar entre "pt" e "es" dependendo do estado interno do sensor. Textos menores que 100 caracteres são o ponto fraco de quase todas as bibliotecas de propósito geral. A alternativa mais robusta é o fastText da Meta. O download do modelo pretrained para language identification é direto:

https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin Carregue com Python e faça a predição. O arquivo tem cerca de 780 MB e cobre 186 idiomas. O tempo de inferência para um parágrafo inteiro fica entre 2 e 5 milissegundos em uma CPU padrão.

Pegadinhas comuns

O primeiro erro é assumir que o detector funciona bem em textos multilíngues. Se um parágrafo mistura português e inglês, o resultado será o idioma dominante, não ambos. Existe a langid.py, que usa modelos de língua baseados em HMM, mas ela também não segmenta idiomas dentro do mesmo texto. O segundo erro é confiar cegamente na confiança (confidence score). O fastText retorna um score, mas scores altos podem ser enganosos para línguas morfologicamente próximas, como português, espanhol e catalão. Num teste que fiz com 2 mil frases retiradas de notícias brasileiras, o modelo acertou 94% mas errou justamente nas frases com muitos empréstimos do inglês técnico, como "deploy", "bug", "status". O detector marcou tudo como inglês.

O terceiro erro é ignorar a codificação de caracteres. Se o texto vier com acentos quebrados ou forcodificado em ISO-8859-1 ao invés de UTF-8, a frequência de n-gramas muda e o modelo pode classificar como um idioma completamente errado. Sempre normalize para UTF-8 antes de passar para o detector.

Quando nada disso funciona

Se o texto tiver menos de 30 caracteres, nenhuma biblioteca dará resposta confiável. Se for um texto intencionalmente codificado em cripto-gíria, speakie, ou com linguagem de programação embarcada, o detector vai alucinar. Nestes casos, a única solução real é análise manual ou um modelo treinado especificamente para aquele domínio. Eu já perdi duas semanas tentando detectar idioma em transcrições de áudio de rádios regionais porque a variação fonética criava padrões de escrita que enganavam qualquer n-gram classifier padrão. Se o seu caso é de alta precisão exigida em produção — como filtragem automática de conteúdo por idioma em uma plataforma — recomendo treinar seu próprio modelo com dados do seu domínio. Custa tempo inicial, mas evita os erros de falsos positivos que aparecem depois de meses rodando com modelos genéricos.

ferramentas para verificar em que língua foi escrito

Para quem quer algo pronto e rápido sem código, além dos sites online existem extensões de navegador como o Lingua para Chrome que detectam o idioma de páginas visitadas em tempo real. Para developers, a API do Google Cloud Natural Language tem um endpoint de identificação de idioma que é razoavelmente preciso, mas cobra por uso e requer conta configurada. O Microsoft Azure Text Analytics faz o mesmo com pricing similar. Para quem quer algo open-source e local, além do fastText existe o CLD3 (Compact Language Detector 3) do Google, disponível como binding para Python e C++. Ele é mais lento que o fastText mas tende a ser mais preciso em textos curtos. O download está no repositório oficial do Chrome: https://github.com/google/cld3.

Resumindo sem resumir: a detecção de idioma é um problema resolvido na teoria e ainda cheio de armadilhas na prática. Escolha a ferramenta conforme o tamanho do texto, o domínio e a tolerância a erros. E nunca confie num único detector para decisões automatizadas importantes.