TDD com agente: o teste vale, o ritual não
Testes de IA detectam 69% das falhas contra 17,2% dos humanos, com cobertura menor. Já o fluxo TDD no agente não fez diferença e custou até 8,5× mais.
- tdd
- testes
Engenharia de agentes que aguentam produção: ferramentas, loops de verificação, contexto, guardrails e telemetria, com cada número rastreado até a fonte.
Testes de IA detectam 69% das falhas contra 17,2% dos humanos, com cobertura menor. Já o fluxo TDD no agente não fez diferença e custou até 8,5× mais.
O melhor modelo resolve 80% das tarefas em navegador. Declarar a ferramenta custa 6.600 tokens, e a checklist de segurança da doc é maior que a de uso.
A Anthropic mediu 90,2% de ganho com multi-agente e, no mesmo texto, desaconselhou para programação. A regra que decide, e o custo de 15×.
Três coisas disputam a memória, não uma. A fórmula do cache KV, o orçamento por faixa de RAM e por que quantizar não resolve contexto longo.
Só 37% das organizações conseguem revogar as credenciais de um agente de IA. E 88% tiveram incidente com agente no último ano.
O cache de 1 hora usado duas vezes ainda dá prejuízo. A conta do ponto de equilíbrio, os multiplicadores oficiais e os vazamentos que não aparecem no dashboard.
Contexto longo acertou 73,1% contra 65,4% do RAG, a 26 vezes o custo por consulta. A fronteira medida, e por que a resposta certa é rotear.
MCP conecta a ferramenta, A2A conecta agentes, WebMCP conecta o site. O que cada um resolve, o estado real de cada um e o que nenhum expressa.
Em 18 modelos testados, o desempenho cai conforme a entrada cresce, antes de a janela encher. Os quatro pilares para manter o contexto pequeno.
Memória cortou os passos de 20 para 5 num estudo da Databricks. E fez o agente repetir o próprio erro com mais confiança. O que guardar e o que apagar.
89% das equipes instrumentaram os agentes e só 52% avaliam. Como montar conjunto de teste, escolher limiar e colocar o portão no CI sem falso alarme.
Juiz LLM concorda com humanos tanto quanto humanos entre si. E erra de formas medidas: só o rótulo de autoria move a nota em 0,43 ponto.
Das falhas documentadas de agentes, 40 em 52 eram evitáveis por camadas do harness. Onde colocar a trava e por que classificador não basta.
Bug de agente não se reproduz: o rastro precisa existir antes do erro. A árvore de spans, os atributos do OpenTelemetry e o que ainda muda.
Com 10 ferramentas o agente acerta tudo; com 107 ele falha por completo. Como desenhar ferramentas que um agente usa bem, com antes e depois.
Perguntar "tem certeza?" faz o modelo trocar de resposta em 46% dos casos e perder 17 pontos. O gargalo é achar o erro, não consertar.
Harness engineering explicado: por que a LangChain subiu 25 posições sem trocar de modelo, as cinco camadas e o que decide numa tarefa longa.
A lista oficial do OWASP Top 10 para agentes de IA, de ASI01 a ASI10, com o incidente real e datado que já explorou cada um dos dez riscos.
Doze defesas contra prompt injection que reportavam taxa quase zero foram quebradas acima de 90%. Por que o problema é estrutural e o que reduz risco.