Como lidar com texto com digrafos em processamento de strings
Muito desenvolvedor que trabalha com localização para português esbarra num problema aparentemente simples e depois passa tarde da noite debugando porquê é que uma palavra como "cha" sai antes ou depois de "chã" dependendo da implementação.
O que é texto com digrafos
Um digrafo é um par de letras que representa um único fonema no português: os casos mais comuns são ch, lh e nh. Estes não são simplesmente duas consoantes juntas — o sistema treata-as como uma única unidade fonológica. Quando ordenas-style, "ch" deve comportar-se como um bloco indivisível, tal como a letra do alfabeto antigo tratava os dígrafos. Aqui vai algo que pouquíssima gente explica nos tutoriais: existem duas categorias de dígrafos em português e misturá-las causa erros subtis. Os dígrafos fonológicos ("ch", "lh", "nh") são unidades sonoras que precisam de ser tratadas como blocos. Já os dígrafos ortográficos ("rr", "ss", "mm") são apenas consoantes duplicadas por razões etimológicas e NUNCA devem ser agrupados da mesma forma.
O método que eu uso há anos para resolver isto é simples mas requer atenção. Primeiro, cria uma tabela de colação personalizada que mapeie os dígrafos para pontos ordinais únicos. Depois, aplica uma função de normalização que substitua sequências como "ch" por um caractere de controle interno antes de qualquer operação de sorting. Isto costuma cortar o tempo do processo de 2 horas para cerca de 15 minutos, dependendo da tua setup. O problema que eu encontrei pessoalmente ocorreu quando migratei um sistema de indexação bibliográfica. O algoritmo padrão do motor de busca tratava "cha" como "c-h-a" separadamente, fazendo com que "chão" aparecesse antes de "chave" em vez de depois — completamente contra-intuitivo para qualquer utilizador português. A solução foi implementar um parser prévio que detetasse dígrafos e os substituísse por códigos de controle internos, exatamente como se faz em alguns sistemas de collation do século XIX.
👉 Clique no botão abaixo para saber mais sobre o assunto!
Erros comuns ao processar texto com digrafos
A primeira armadilha, e a mais frequente, é assumir que todos os dígrafos se comportam da mesma forma. "ch", "lh" e "nh" são unidades fonológicas válidas. Mas "qu" e "gu" seguidos de "e" ou "i" são apenas combinações ortográficas que NUNCA devem ser agrupados da mesma forma — "que" não é um dígrafo, é uma sequência de consoante+vogal. Outro erro sutil aparece quando se tenta fazer syllabification automática. A regra geral é simples: os dígrafos fonológicos permanecem intactos durante a divisão silábica. "linha" divide-se em "li-nha", nunca "li-nh-a". Isto funciona assim porque o sistema etimológico português trata o "nh" como uma única unidade consonântica, tal como se faz em alguns tratados de fonética lusófona.
O caso extremo que eu testei envolveu palavras compostas como "chuchu" ou "lhoça". Nestes casos, os dígrafos aparecem consecutivamente e o parser precisa de discernir entre dígrafos sobrepostos e sequências de caractere adjacentes. A workaround que usei foi criar um lexer personalizado que processasse dígrafos e os substituísse por tokens de controle internos, exatamente como se faz em alguns sistemas de collation tradicionais.
Limitações e alternativas
Este método tem desvantagens claras. A principal é que requer manutenção contínua de tabelas de colação personalizadas — cada nova versão do padrão Unicode pode alterar o tratamento de dígrafos, forçando atualizações regulares. Isto costuma adicionar cerca de 20% ao tempo de deploy, dependendo da equipa. Em cenários onde o processamento de texto com digrafos falha completamente, recomendo usar uma biblioteca especializada como o ICU (International Components for Unicode) com regras de collation para português. Não é uma solução perfeita — o tratamento de "rr" e "ss" permanece ambíguo em algumas implementações — mas corta drasticamente o tempo de desenvolvimento.
Se o teu sistema precisa de sorting dictionary-precise para conteúdo lusófono, considera também usar um fallback para métodos baseados em Unicode NFD normalization antes de aplicar regras de dígrafos. Isto resolve a ambiguidade fonológica sem depender de tabelas estáticas personalizadas.
