A maior dor de cabeça com símbolos não é o que você vê
Você provavelmente já passou por isso: um sistema aceita um caractere, outro não, e você fica procurando o erro por horas. A razão geralmente não é o que você vê na tela, mas como o símbolo está codificado internamente. Isso é especialmente problemático quando você lida com acentuação em português - ç, ã, õ, é, í - porque o mesmo caractere pode ser representado de formas diferentes em Unicode.
Por que o símbolo e seu significado são mais complexos do que parecem
Um símbolo é uma unidade visual que carrega informação. O problema é que "o mesmo símbolo" pode não ser o mesmo código. O caractere Ç (latim maiúsculo C cedilha, U+00C7) e o C combinado com cedilha (U+0043 + U+0327) parecem idênticos na tela, mas são estruturas completamente diferentes. Para quem trabalha com normalização de texto ou validação de dados, essa distinção não é acadêmica - é o que quebra queries e scripts.
O problema real que ninguém conta
Eu trabalhei com um sistema de importação de cadastros para uma prefeitura onde os dados vinham de planilhas Excel exportadas de diferentes fontes. Metade dos arquivos usava NFC (precomposed), a outra metade NFD (decomposed). O script de validação estava falhando silenciosamente - caracteres como ã e ç eram rejeitados mesmo quando o usuário não tinha digitado nada errado. O erro não estava nos dados, estava na normalização. A solução que eu encontrei foi aplicar a normalização Unicode NFC em todos os campos antes de qualquer comparação ou validação, usando a função unicodedata.normalize('NFC', texto) em Python. Isso resolveu o problema imediatamente. Desde então, sempre faço normalização no início do processo, não no final quando já é tarde demais.
👉 Clique no botão abaixo para saber mais sobre o assunto!
O erro que todo mundo comete
Confiar cegamente no que aparece na tela. A renderização pode esconder diferenças importantes entre códigos. Sempre verifique a representação hexadecimal dos caracteres, especialmente quando trabalha com dados que vêm de múltiplas fontes. Uma diferença invisível de 1 byte pode significar que duas strings idênticas visualmente são consideradas distintas pelo sistema. Também é comum subestimar a variação de fontes. O caractere ™ (U+2122) pode parecer pequeno em uma fonte e grande em outra. O ß (eszett) em alemão existe em duas formas: a padrão (U+00DF) e a forma capitalizada (U+1E9E), que só aparece em contextos específicos de ordenação alfabética. Se você está construindo um sistema internacionalizado, ignore isso e vai pagar o preço depois.
Limitações que ninguém mencionou
Nem todo símbolo que você encontra tem representação adequada em todos os sistemas. Zeros, marcas de combinação e caracteres de controle são tratados de forma inconsistente entre navegadores, sistemas operacionais e motores de renderização. O resultado é que um arquivo pode parecer perfeito no Windows e quebrar completamente no Linux, ou vice-versa. Para casos onde a normalização sozinha não basta, considere usar bibliotecas especializadas como Unidecode para transliteração aproximada ou a biblioteca PyICU para comparações Unicode mais robustas. Não tente implementar isso do zero se não tiver experiência prévia com Unicode.
Boa prática mínima para não perder tempo
Defina a codificação de entrada e saída do seu sistema. Guarde tudo em UTF-8. Normalize com NFC antes de salvar no banco. E sempre teste com dados reais vindo das fontes que seus usuários realmente usam, não com samples que você criou sozinho.
