Em Um Experimento

Como estruturar um experimento que não dê errado na execução

A maioria dos experimentos falha não por má teoria, mas por variáveis que ninguém anotou. Eu passei anos refazendo estudos porque esqueci de registrar uma condição ambiental irrelevante que, no final, era tudo menos irrelevante. O problema não é o design inicial. É o que acontece quando você está no laboratório às 23h e percebe que não tem dados sobre algo que deveria ter monitorado. Vamos direto ao ponto. Um experimento válido precisa de quatro coisas: uma pergunta fechada, variáveis controladas, repetição e um plano de coleta de dados escrito antes de qualquer manipulação começar. Parece óbvio, mas na prática vejo gente montando protocolos que só fazem sentido depois que os dados já estão ruins.

Montando o protocolo antes de ligar qualquer equipamento

O passo que todo mundo pula é escrever o protocolo completo antes de tocar no material. Eu comecei a fazer isso depois de perder três semanas de trabalho porque meu experimento tinha uma variável de controle que eu havia definido verbalmente, mas nunca documentado por escrito. Quando precisei reproduzir os resultados seis meses depois, não fazia ideia de qual lote de reagente eu tinha usado.

Definição prática de variáveis em um experimento

Existem basicamente dois tipos de variável que importam: a independente, que você manipula, e a dependente, que você mede. O erro comum é tratar variáveis de confundimento como se elas não existissem. Na minha experiência, as variáveis de confundimento são responsáveis por cerca de 80% dos resultados enganosos que já vi. Pegue temperatura ambiente, umidade, lote do material, horário do dia, estado de fadiga do operador. Qualquer um desses pode transformar um experimento significativo em ruído estatístico. A solução simples é listar todas as variáveis potenciais na planilha antes de começar e registrar cada uma delas em cada rodapé de coleta. Não confia na memória. Anota tudo.

Como definir amostragem sem cometer erros básicos

O cálculo de tamanho de amostra é onde a maioria das pessoas erra porque escolhe o número que parece "razoável". O problema é que razoável não existe em estatística. Você precisa definir um efeito mínimo desejável, o desvio padrão esperado e o poder estatístico que considera aceitável, e então rodar o cálculo com base nesses três números. Eu uso o G*Power para isso. Leva dois minutos e evita que você gaste R$ 5.000 em reagentes para coletar dados insuficientes. Já vi gente coletar n=6 por grupo e tentar publicar. Não funciona. O intervalo de confiança fica tão largo que o resultado é incompatível com qualquer conclusão séria.

Análise de dados: o que fazer quando o teste não sai como esperado

Antes de rodar qualquer teste estatístico, olhe os resíduos. Gráfico de resíduos versus valores ajustados, QQ-plot, testinha de Shapiro-Wilk se precisar. Se os pressupostos não forem atendidos, não forçe uma ANOVA. Use transformação ou vá direto para métodos não paramétricos. Eu já vi colega usar ANOVA com dados fortemente assimétricos e apresentar p-valor significativo que não se sustentava com um teste de Mann-Whitney aplicado corretamente. Outro erro frequente: testar múltiplas hipóteses sem correção de múltiplas comparações. Bonferroni é conservador demais em muitos casos, então prefiro Holm-Bonferroni. Dá menos poder, mas controla a taxa de erro tipo I de forma mais eficiente. Se seu experimento tem mais de três comparações múltiplas, pelo menos faça essa correção.

Problema real que encontrei e como resolvi

Em um experimento com culturas celulares, percebi que o efeito que estávamos medindo desaparecia completamente quando alternava o operador entre turnos. A variável não estava no protocolo. Estava na técnica de lavagem. O operador do turno da tarde usava um volume de PBS 15% maior que o do turno da manhã porque a seringa tinha vazado e ele compensou sem registrar. O resultado era uma diferença de viabilidade celular que parecia tratamento, mas era só pipetagem inconsistente. A solução foi simples: padronizar o volume com seringa calibrada, treinar ambos os operadores no mesmo procedimento e adicionar um controle de qualidade de volume em cada placa. A variação caiu de 12% para 3%. Os dados ficaram consistentes na segunda rodada. A lição é que a maior fonte de erro em experimento muitas vezes não é técnica, é humana.

Falhas comuns que ninguém menciona

Experimento cego duplo não é opcional. Se você sabe qual grupo é qual, seu viés de confirmação influencia a leitura dos dados. Isso não é teórica. Eu já vi alguém "lembrar" que um outlier era um erro de medição porque o resultado combinava com a hipótese. Quando aplicamos cegamento, esse outlier passou a ser tratado como dado legítimo e a análise mudou completamente. Outra falha grave: predatar dados. Coletar dados exploratórios e tratá-los como confirmatórios sem ajustar a análise. Se você fez testes exploratórios, declare isso. Registre. Trate a análise exploratória como tal. Diferenciar exploração de confirmação é o que separa ciência de narrativa.

Quando o experimento simplesmente não funciona

Há momentos em que o protocolo está perfeito, os dados estão coletados, e o resultado é nulo. Isso não é fracasso. É informação. Reportar resultado nulo com metodologia transparente vale mais do que publicarem um achado espúrio com método frouxo. A literatura carrega um viés de publicação enorme, e isso distorce o que sabemos sobre o que funciona e o que não funciona. Se o efeito esperado não aparece após duas rodadas bem conduzidas, reconsidera o modelo teórico. Não insiste. Troca a abordagem, muda o desfecho, ou desiste do projeto. Inspecionar dados até achar significância é p-hacking disfarçado, e reviewers experientes identificam isso em dois minutos.

A ferramenta que uso para registro de protocolo é o OSF. Custa nada, versiona automaticamente, e permite que qualquer pessoa reproduza exatamente o que foi feito. O tempo que eu gastava refazendo procedimentos no passado era enorme. Com registro estruturado, reduzi esse retrabalho para quase zero.