Há uma diferença enorme entre uma inteligência artificial que consegue escrever um texto científico e uma inteligência artificial que consegue reproduzir uma pesquisa científica.
A primeira pode produzir uma aparência convincente de conhecimento.
A segunda precisa lidar com algo muito mais difícil:
entender uma hipótese, encontrar os procedimentos relevantes, executar código, trabalhar com dados, identificar problemas e verificar se o resultado obtido é compatível com aquilo que os pesquisadores originalmente encontraram.
É exatamente essa fronteira que um novo trabalho disponibilizado em agosto de 2026 no arXiv tenta explorar.
O estudo apresenta o Replica, uma estrutura escalável para tarefas de replicação científica, e o Faraday, um agente de 27 bilhões de parâmetros treinado para reproduzir pesquisas utilizando coding agents como ferramentas. Nos testes apresentados pelos autores, o sistema superou Claude Opus 4.8 e GPT-5.5 em tarefas de replicação mantidas fora do treinamento.
Isso merece atenção.
Não porque tenhamos chegado a uma “IA cientista”.
Ainda não.
Mas porque replicação é uma das melhores tarefas possíveis para testar se um sistema realmente consegue fazer trabalho científico verificável.
Replicar é muito mais difícil do que resumir
Um modelo pode ler um artigo e produzir um resumo excelente.
Isso exige compreensão linguística.
Mas uma replicação exige outra coisa.
O sistema precisa descobrir:
- quais dados foram utilizados;
- como foram tratados;
- quais variáveis foram construídas;
- quais especificações foram estimadas;
- quais decisões metodológicas não estão explicitadas;
- quais códigos precisam ser executados;
- onde estão os arquivos;
- como interpretar os resultados;
- e se aquilo reproduz de fato a conclusão original.
É uma tarefa muito mais próxima do trabalho de um pesquisador.
E existe um detalhe particularmente interessante.
Os próprios autores argumentam que replicação frequentemente revela detalhes que estavam subespecificados nos trabalhos originais.
Ou seja, replicar não é simplesmente apertar um botão.
A replicação é um teste de realidade da ciência
Existe uma fragilidade conhecida na produção científica: resultados podem ser difíceis de reproduzir.
Às vezes porque o código não foi disponibilizado.
Às vezes porque os dados mudaram.
Às vezes porque existem decisões metodológicas que não aparecem claramente no artigo.
Às vezes porque o procedimento descrito em palavras não é suficiente para reconstruir exatamente aquilo que foi feito.
Uma IA capaz de automatizar parte desse processo poderia produzir uma mudança importante.
Imagine um sistema que recebe:
“Aqui está o artigo. Verifique se consigo reproduzir os principais resultados.”
Ele procura os dados.
Executa o código.
Reconstrói as tabelas.
Compara resultados.
Identifica divergências.
Tenta descobrir a origem.
E entrega uma espécie de relatório de auditoria científica.
Isso seria extremamente útil.
O interessante não é apenas o modelo
Essa é uma das partes mais importantes do paper.
O trabalho não é simplesmente:
“Pegamos um modelo grande e perguntamos se ele consegue replicar papers.”
Os autores criaram uma task space específica para replicação e um mecanismo de avaliação baseado em rubricas geradas automaticamente, buscando um sinal de recompensa que tenha baixa discrepância em relação à avaliação humana. Depois utilizaram esse ambiente para pós-treinar o Faraday.
Isso é importante porque uma das dificuldades centrais dos agentes científicos é justamente:
como saber se o agente fez um bom trabalho?
Se não conseguimos avaliar automaticamente a qualidade da resposta, fica muito mais difícil treinar o sistema para melhorar.
O problema da recompensa
Aqui aparece uma questão profundamente econômica e também muito importante para machine learning.
Um agente aprende aquilo que conseguimos medir.
Se recompensamos simplesmente:
“o resultado final parece correto”,
ele pode aprender atalhos.
Se recompensamos:
“o resultado foi reproduzido por uma sequência metodologicamente correta”,
a coisa muda.
O desenho da função de recompensa passa a carregar parte da definição do que consideramos uma boa pesquisa.
Isso é uma ideia familiar na economia comportamental e na teoria de incentivos:
o agente responde ao sistema de incentivos que construímos.
A IA não é diferente.
O resultado mais interessante pode estar fora do benchmark
Os autores relatam que análises qualitativas de algumas execuções indicaram que Faraday adotou comportamentos mais próximos de uma abordagem científica.
Isso é interessante, mas precisa ser interpretado com cautela.
Um agente pode apresentar comportamento científico em um ambiente de benchmark sem necessariamente possuir uma compreensão geral da ciência.
Essa é uma diferença fundamental.
Um sistema pode ser excelente em:
replicar pesquisas conhecidas
sem ser excelente em:
descobrir novas perguntas científicas.
São tarefas diferentes.
Replicação e descoberta são duas fronteiras distintas
Eu separaria pelo menos quatro níveis:
Nível 1 — Assistência: escrever código, buscar referências, produzir gráficos.
Nível 2 — Execução: executar análises e corrigir erros.
Nível 3 — Replicação: reconstruir e testar pesquisas existentes.
Nível 4 — Descoberta: formular hipóteses novas, desenhar experimentos e produzir conhecimento original.
Estamos avançando rapidamente nos três primeiros.
O quarto é muito mais difícil.
E isso é justamente o que torna o trabalho interessante.
Ele mostra que a distância entre “IA que escreve” e “IA que executa investigação” está diminuindo.
Isso pode mudar a economia da pesquisa
Se agentes forem capazes de realizar replicações de maneira confiável, o custo de verificar resultados científicos pode cair.
Isso tem consequências importantes.
Hoje, pesquisadores precisam escolher cuidadosamente quais trabalhos replicar.
Não é possível verificar tudo.
Uma máquina pode alterar essa restrição.
Podemos imaginar uma literatura em que resultados relevantes sejam automaticamente submetidos a uma bateria de verificações:
- reprodução computacional;
- especificações alternativas;
- testes de robustez;
- consistência dos dados;
- sensibilidade a decisões metodológicas.
Isso poderia aumentar a qualidade média da literatura.
Mas também criaria uma nova pergunta:
quem verifica a IA que verifica os papers?
O risco da automação da ciência
É aqui que o entusiasmo precisa ser moderado.
Se o sistema reproduzir um erro cometido pelo paper original, ele pode concluir que a pesquisa foi replicada.
Se os dados tiverem um problema que não seja detectável pelo agente, a replicação pode ser formalmente correta e cientificamente errada.
Se a rubrica de avaliação for inadequada, o agente pode aprender a maximizar a pontuação em vez de maximizar a qualidade científica.
E se pesquisadores começarem a confiar excessivamente nesses sistemas, poderemos simplesmente automatizar parte da produção de falsa confiança.
Essa possibilidade é séria.
Ainda assim, o movimento é importante
A ciência moderna produz uma quantidade de conhecimento maior do que qualquer pesquisador consegue acompanhar.
O problema não é mais apenas produzir informação.
É verificar, organizar e integrar informação.
Nesse sentido, agentes científicos podem desempenhar uma função muito mais interessante do que simplesmente escrever artigos.
Eles podem se tornar uma espécie de infraestrutura de verificação.
E isso pode ser particularmente poderoso em economia, ciência de dados e ciências sociais quantitativas, onde uma grande parte do conhecimento depende de dados, código e procedimentos computacionais.
A fronteira mais interessante da IA científica talvez não seja:
“A IA consegue descobrir uma teoria nova?”
Talvez seja uma pergunta mais humilde:
“A IA consegue nos ajudar a descobrir quais resultados científicos realmente resistem a uma tentativa séria de reprodução?”
Se a resposta se tornar sim em escala, já teremos uma transformação importante na maneira como o conhecimento científico é produzido.
Fonte principal: Falck et al., Training AI Scientists to Replicate Research, arXiv:2608.13331, publicado em 13 de agosto de 2026.
Deixe um comentário