Ir para o conteúdo
← Todos os insights
Engenharia Agêntica

A performance de IA mudou de lugar: saiu dos modelos e foi para o harness de execução

Mantendo o modelo de IA constante e variando o agent harness: 58,0% contra 79,8% de acerto no Terminal-Bench 2.0.

Publicado em

A maior parte das conversas sobre agentes de IA começa com a pergunta errada: Qual modelo é o melhor? É uma pergunta natural, porque é o que a imprensa de tecnologia repete a cada lançamento ou a cada nova versão de modelos de IA. Só que ela explica cada vez menos sobre o resultado que a sua empresa vai ver na operação.

O que é um harness, em linguagem simples

O modelo é o motor da IA. O harness é todo o resto do carro: o que um agente de IA recebe como instrução, quais ferramentas ele pode acionar, o que ele guarda na memória entre execuções e passos, quantas vezes pode tentar novamente, como verifica o próprio trabalho e quando para e passa uma aprovação para uma pessoa (gate humano).

Dois agentes de IA podem usar exatamente o mesmo modelo, com os mesmos prompts, e entregar resultados muito diferentes porque a camada ao redor é diferente. Em produção, o harness é onde reside a maior parte da engenharia de agentes — e uma parte grande do resultado.

O tamanho do efeito, medido

O Terminal-Bench 2.0 é uma bateria pública de tarefas de terminal, um tipo de trabalho em que o agente de IA precisa encadear muitos passos sem se perder. Os números a seguir ajudam a dimensionar o efeito.

58,0% → 79,8%de acerto no Terminal-Bench 2.0 com o mesmo modelo (Claude Opus 4.6), mantendo o modelo constante e variando o agent harness (Claude Code → ForgeCode): +21,8 p.p.Terminal-Bench 2.0, leaderboard

Essa comparação vale como ordem de grandeza, não como experimento controlado: são duas submissões distintas ao mesmo benchmark. A leitura honesta é "mantendo o modelo constante e variando o agent harness", e não "o harness X é melhor que o Y para a sua empresa". Inclusive, diferentes tipos de tarefas podem ser adequados a diferentes harnesses, dentro da mesma empresa.

O próximo dado é mais direto, porque aí a equipe mudou só a camada de harness:

+13,7 p.p.no Terminal-Bench 2.0 (52,8% → 66,5%) com GPT-5.2-Codex fixo, alterando apenas prompts, ferramentas e middleware da camada de harnessLangChain

E há um terceiro efeito, que raramente entra na conta — a infraestrutura em que o agente roda:

~6 p.p.de variação de resultado no Terminal-Bench 2.0 causada apenas por mudança de recursos de infraestrutura de execuçãoAnthropic

Ou seja, além de se discutir o modelo de IA e o harness de execução, parte do resultado depende da infraestrutura. Isso é mais verdadeiro quando se usam modelos open weight em infraestrutura própria.

Por que isso acontece

O modelo de IA oferece capacidade potencial. O harness decide quanto dessa capacidade se torna trabalho concluído, e como o processo é orquestrado. Na prática, quatro decisões explicam a maior parte da diferença:

  1. Instrução. O que os agentes sabem sobre cada processo, o fluxo de trabalho, o que é proibido e permitido, e como resultados são avaliados.
  2. Ferramentas. O que os agentes podem, de fato, fazer — consultar sistemas e dados, escrever registros, abrir chamados, enviar mensagens — e com quais limites e alçadas.
  3. Contexto. O que os agentes carregam e lembram entre passos e execuções. Contexto demais confunde e custa caro (tokens); contexto de menos leva os agentes a alucinar.
  4. Verificação. Como as tarefas são conferidas antes de valerem: pode ser um segundo agente que revisa, uma regra determinística ou um gate humano.

Modelo

Capacidade potencial: o motor.

Mantido constante

Harness

Decide quanto da capacidade vira trabalho concluído.

  1. 01Instrução
  2. 02Ferramentas
  3. 03Contexto
  4. 04Verificação

Infraestrutura

Onde o agente roda, que também muda o resultado.

Nas comparações do artigo, o modelo fica constante e muda o que está em volta dele.

Essas quatro decisões são de engenharia das empresas, não dependem do fornecedor do modelo. É por isso que trocar de modelo raramente resolve o problema de um agente que erra muito, e a mesma equipe de engenharia consegue melhorar os resultados sem alterar nada na camada de inferência de IA.

O que muda na hora de desenhar uma equipe de agentes de IA

A pergunta deixa de ser qual modelo é mais inteligente e passa a ser qual combinação de modelo, harness e infraestrutura entrega esta tarefa dentro de custos, prazos e riscos aceitáveis.

Isso tem uma consequência concreta: se grande parte do valor está na camada de harness, ela precisa ser da sua empresa, ou pelo menos ser portável entre fornecedores:

71%dizem que trocar seu fornecedor ou modelo principal de IA seria difícil; 91% não entendem plenamente suas dependênciasIBM Institute for Business Value

Um agente que só existe dentro do produto de um fornecedor é uma dependência difícil de precificar — e que surge justamente quando você precisa negociar — especialmente em caso de problemas.

Há também uma questão de equipe de profissionais (humanos):

Apenas 13%dos profissionais corporativos são proficientes em IA agêntica — a menor de 14 competências avaliadas, em 88.753 avaliaçõesWorkera, via Algeria Tech News

Ou seja: a escassez não é de acesso a modelos de IA, que estão a uma chamada de API de distância. É de pessoas proficientes em IA agêntica, capazes de desenhar, medir e operar agentes em processos de negócio.

Como testar isso na sua empresa

Você não precisa de benchmarks públicos para decidir. O método é o mesmo desses benchmarks, mas em escala menor:

  • Escolha de 20 a 50 tarefas reais de um processo candidato à automação por agentes de IA, com os resultados corretos já conhecidos.
  • Trave um modelo de IA e varie uma camada de cada vez: primeiro as instruções e fluxos, depois as skills (habilidades dos agentes) e ferramentas, depois as verificações.
  • Registre sempre os mesmos dados por unidade de trabalho: custo de token, custo de infraestrutura, taxa de intervenção humana e taxa de acerto.
  • Repita com o outro modelo só no fim, quando a camada de harness já estiver estável. Trocar tudo ao mesmo tempo impede de saber o que causou o quê.

É esse conjunto de decisões — instrumentadas, mensuradas e com dono — que a AInda chama de método. O resultado prático não é apenas ter agentes de IA mais eficazes: é ter agentes cujo comportamento você consegue explicar, prever e melhorar continuamente.