LLM como juiz: quando a nota merece confiança

Pegue duas respostas de qualidade equiparada e peça a um modelo que avalie as duas. Depois repita, dizendo a ele quem escreveu cada uma.

A nota muda em 0,43 ponto, numa escala de sete. O conteúdo é o mesmo. A etiqueta moveu o veredito.

E mesmo assim o juiz é útil. Juízes fortes concordam com a preferência humana em mais de 80% dos casos, que é o mesmo nível de concordância que humanos têm entre si.

Este post é sobre a distância entre essas duas frases: onde a nota serve para decidir, onde ela engana, e o que de fato corrige.

O número que abriu essa porta tem três anos. Em "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena", apresentado no NeurIPS 2023, Lianmin Zheng e outros doze autores mediram a concordância entre juízes fortes como o GPT-4 e a preferência humana (arXiv 2306.05685, acesso em 28/08/2026).

O resultado: mais de 80% de concordância, tanto contra preferência controlada quanto contra votação aberta. A base foi 80 perguntas do MT-Bench, 3 mil votos de especialistas e 30 mil conversas com preferência humana registrada.

A frase que fez o método pegar é a comparação: esse é o mesmo nível de concordância que humanos têm entre si. Se dois anotadores humanos discordam com essa frequência, cobrar do modelo mais que isso é cobrar o que a tarefa não oferece.

Daí a adoção. Entre quem avalia, 53,3% usa juiz — número que o post de ontem trouxe junto com os outros três tipos de verificação. O juiz existe para alcançar o que contrato e assertiva não alcançam: se o texto responde à pergunta, se o tom serve, se o argumento se sustenta.

Cinco vieses aparecem com nome próprio na literatura: posição, verbosidade, estilo, auto-preferência e rótulo de autoria.

Dois deles têm medição recente e específica.

Auto-preferência. Em "Self-Preference Bias in LLM-as-a-Judge", Koki Wataoka, Tsubasa Takahashi e Ryokan Ri, da SB Intuitions, mediram o fenômeno sobre 33 mil diálogos do Chatbot Arena, em comparação pareada com controle de posição (arXiv 2410.21819v2, junho de 2025). Numa métrica de justiça que vai de −1 a 1, o GPT-4 marcou 0,520 — o maior do conjunto. A taxa de verdadeiro positivo dele foi de cerca de 0,945, contra 0,425 de verdadeiro negativo. Vicuna-13b e Koala-13b também apresentaram viés relevante; os demais ficaram perto de zero ou negativos.

Rótulo de autoria. Em "Self- and Other-Labels Induce Bidirectional Bias in LLM Judges", Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi e Seohyon Jung colocaram dez modelos — cinco comerciais e cinco abertos — em papel duplo de gerador e juiz (arXiv 2608.18091, 2026).

O efeito médio do rótulo foi de +0,43 numa escala de sete pontos, com intervalo de confiança de 95% entre +0,39 e +0,47 e p abaixo de 0,001. Por dimensão avaliada, variou de +0,29 a +0,57. Seis dos dez juízes mostraram o padrão simétrico — rótulo próprio inflando, rótulo alheio deflacionando —, e três apresentaram versão unilateral.

A conclusão dos autores é a frase que resume a seção: com a qualidade equiparada, é o rótulo, e não o conteúdo, que move a avaliação.

A reação natural a tudo isso é trocar a nota livre por uma rubrica com critérios objetivos. Se o juiz responde "sim ou não" a itens verificáveis, o gosto sai da conta.

Não sai.

Em "Self-Preference Bias in Rubric-Based Evaluation of Large Language Models", Pombal, Rei e Martins fizeram o primeiro estudo do viés nesse formato, usando o IFEval — um benchmark cujos critérios são programaticamente verificáveis (arXiv 2604.06996, 2026).

O resultado desmonta a solução óbvia. Entre os critérios que o gerador falhou, o juiz chega a ser até 50% mais propenso a marcar incorretamente como cumprido quando a saída é dele mesmo.

O que isso significa merece um segundo de atenção. O critério era checável por código. A resposta certa existia e era binária. E o juiz ainda assim aprovou a própria falha com mais frequência do que aprovaria a falha alheia.

Os autores apontam onde isso dói mais: em cenários de melhoria recursiva, quando um modelo é usado para avaliar e guiar o desenvolvimento de outro da mesma família.

<!-- [UNIQUE INSIGHT] -->

Aqui está a parte que muda o que você faz a respeito.

A leitura intuitiva da auto-preferência é que o modelo se reconhece e se favorece. Se fosse isso, instruir imparcialidade ajudaria — bastaria pedir que ele ignorasse a autoria.

Os autores do estudo da SB Intuitions testaram outra hipótese e ela explica melhor os dados. Os modelos atribuem notas mais altas a textos de menor perplexidade do que avaliadores humanos atribuiriam, independentemente de a saída ser autogerada.

E o texto que um modelo gera tem, por construção, perplexidade baixa para ele mesmo.

Isso explica o viés sem exigir auto-reconhecimento. O juiz não sabe que aquele texto é dele. Ele reconhece um padrão que lhe é fácil de prever, e confunde facilidade com qualidade.

A consequência prática é direta: pedir imparcialidade não funciona, porque não há um "si mesmo" sendo consultado para ser ignorado. É o mesmo padrão que apareceu na camada de trava, quando comparei classificador com controle estrutural. O que depende de o modelo cooperar não é garantia.

A lista de vieses que circula em quase todo material sobre o tema começa por posição e verbosidade. Uma avaliação sistemática recente sugere que a ordem está trocada.

Em "Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines", Sadman Kabir Soumik testou nove estratégias de mitigação, em cinco modelos juízes, três benchmarks e quatro tipos de viés (arXiv 2604.23178, 2026).

O viés de estilo é o que quase ninguém menciona, e foi o maior. Traduzindo para a prática: o mesmo conteúdo formatado com títulos, listas e negrito tende a receber nota melhor que em texto corrido. Se você compara duas versões de um sistema e uma delas passou a formatar melhor a saída, parte do ganho que o juiz mediu pode ser formatação.

E o viés de posição, o mais citado de todos, apareceu perto de zero nesse conjunto.

A mesma avaliação sistemática mediu o ganho das estratégias de correção. Os que sobreviveram à correção estatística ficaram entre +4,5 e +11,5 pontos percentuais de concordância, dependendo do modelo e da estratégia.

A melhor configuração testada alcançou 71,0% de concordância, com kappa de 0,549, a cerca de US$ 0,001 por avaliação — aproximadamente quinze vezes mais barato que a melhor montagem com modelo de fronteira.

Repare no número: 71,0% foi o teto naquele conjunto, contra os mais de 80% do MT-Bench. Benchmark e tarefa diferentes produzem patamares diferentes, e essa variação é a razão de calibrar contra os seus próprios dados em vez de importar o número de outra pessoa.

A primeira linha é a de melhor retorno. Ocultar autoria é gratuito, e o dado do efeito de rótulo mostra que importa.

A última é a mais incômoda, porque frequentemente significa contratar um segundo fornecedor só para avaliar. Quando não der para evitar, o mínimo é declarar a dependência no relatório: dizer que o juiz é da mesma família do avaliado muda como o número deve ser lido.

E existe a calibração, que é prática corrente relatada por quem opera esses portões: comparar a nota do juiz com rótulos humanos usando Cohen's kappa, ajustar o prompt até a correlação subir, e retestar de tempos em tempos. Trato como prática, e não como resultado medido.

Como auditar o seu juiz numa tarde

Você não precisa aceitar nem recusar o método na base da fé. Dá para medir o viés do seu juiz com um teste pequeno.

Monte pares de qualidade equiparada. Pegue vinte casos em que duas saídas foram julgadas equivalentes por uma pessoa. A equiparação é o que torna o resto interpretável: qualquer diferença de nota que aparecer não veio do conteúdo.

Rode em quatro condições. Sem rótulo e ordem A-B. Sem rótulo e ordem B-A. Com rótulo verdadeiro. Com os rótulos trocados.

O que cada comparação revela:

A terceira linha é a que fecha o diagnóstico. Se a nota acompanha a etiqueta mesmo quando ela está errada, o juiz está reagindo ao rótulo e não ao texto.

Um teste desses custa oitenta avaliações e uma tarde. É pouco perto de descobrir depois que seis meses de comparação entre versões mediram formatação.

O que fazer com o resultado depende do tamanho. Diferença pequena e consistente vira uma correção fixa no processo: ocultar rótulo, alternar ordem. Diferença grande em uma dimensão específica indica que aquela dimensão precisa sair da rubrica do juiz e virar verificação determinística, quando for possível. E diferença que muda de sinal entre modelos é o sinal mais claro de que o juiz precisa ser trocado.

E vale ligar isso à camada de verificação: o modelo não encontra o próprio erro, e avaliar a própria saída é uma variação do mesmo problema. Em ambos os casos, quem aponta precisa vir de fora.

Peça ao juiz uma escolha entre A e B, e não uma nota de 0 a 10.

O motivo é estrutural. Nota absoluta exige uma âncora estável — o que significa 7, e o que separa 7 de 8 — e essa âncora não se mantém entre rodadas, entre versões de modelo nem entre lotes de avaliação. Comparação exige apenas ordenação, que é uma pergunta mais fácil e mais estável.

A consequência para o seu portão: use juiz para detectar regressão entre versões, e não para afirmar qualidade absoluta. "A versão nova ficou pior que a anterior em 12 dos 30 casos" é uma frase que se sustenta. "A qualidade média é 7,4" não.

Isso conversa com a faixa de tolerância do post de ontem. Nota de juiz é o exemplo mais claro de métrica que merece aviso e revisão, e não bloqueio automático.

Uma nota operacional: se você já instrumentou a camada de rastro, anexe a nota ao span da execução avaliada. Com o veredito junto do trace, uma queda de nota vira investigável em vez de misteriosa, pelo mesmo raciocínio da árvore de spans.

Quatro situações em que a resposta é outra coisa.

Quando existe verificação determinística para a mesma pergunta. Contrato e assertiva primeiro, sempre. Juiz é o mais caro e o mais frágil dos quatro tipos de verificação, e não deve responder o que um if responde.

Quando o critério é objetivamente verificável por código. Aqui a lição do IFEval pesa: mesmo com critério binário e checável, o juiz aprovou a própria falha com mais frequência. Se dá para checar por código, cheque por código.

Quando o custo por avaliação inviabiliza a frequência. Portão que só roda uma vez por semana pega o problema uma semana depois. Vale conferir a conta pelo mesmo raciocínio de custo por padrão de uso antes de colocar juiz em todo commit.

Quando o juiz é da mesma família do avaliado e não dá para trocar. Aí o número existe, e serve para acompanhar tendência interna. Não serve para comparar com outro fornecedor nem para publicar como evidência.

<!-- [PERSONAL EXPERIENCE] -->

Cabe dizer onde este blog se encaixa nessa literatura, porque o encaixe é ruim.

A operação que produz estes textos usa um modelo para escrever e para julgar a própria escrita. As passagens de revisão de estilo e de humanização são isso: auto-avaliação, feita pelo mesmo sistema que gerou o texto, com o viés de familiaridade descrito acima operando por dentro.

É o pior caso de toda a literatura citada neste post, e é o que roda aqui.

O que reduz o dano é acidente de desenho, e vale explicar por quê. As verificações que decidem algo são determinísticas: contagem de palavras, Flesch, desvio do tamanho de frase, ocorrência de frase batida, links duplicados, entidades no schema. Nenhuma delas pergunta ao modelo se ficou bom. São contrato, assertiva e proxy — os três tipos que não dependem de julgamento.

O que continua exposto é tudo que não vira número. A decisão de reescrever uma frase, de cortar uma seção, de aceitar um valor fora da faixa com uma justificativa. Isso é julgamento, e é julgamento de quem escreveu.

A mitigação real aqui tem nome e é a mais antiga que existe: o Sergio lê antes de publicar. Revisão humana continua sendo o método mais usado por quem avalia, com 59,8%, e neste caso ela é a única coisa entre o viés e o leitor.

Não tenho uma correção elegante para oferecer. Trocar de família de modelo para revisar o próprio texto é possível e ainda não faço. Fica registrado como o que é: uma lacuna conhecida, com o mecanismo entendido e a correção não implementada.

O que é LLM as a judge?

É o uso de um modelo de linguagem para avaliar a saída de outro sistema, atribuindo nota, classificando ou comparando alternativas segundo uma rubrica. Serve para julgar dimensões que verificação determinística não alcança, como se um texto responde à pergunta ou se o tom é adequado. Entre as equipes que avaliam agentes, 53,3% usam esse método.

Dá para confiar num modelo avaliando outro?

Para comparação entre versões, sim, com cuidados. Juízes fortes alcançam mais de 80% de concordância com preferência humana, o mesmo nível que humanos têm entre si, segundo o trabalho apresentado no NeurIPS 2023. Os cuidados mínimos são ocultar a autoria, rodar as duas ordens numa comparação pareada e usar um juiz de família diferente da do avaliado. Para nota absoluta publicável, calibre contra rótulos humanos antes.

Um modelo pode avaliar a própria saída?

Pode, e é o cenário com mais viés documentado. O GPT-4 marcou 0,520 numa métrica de auto-preferência que vai de −1 a 1. Pior: o viés persiste mesmo com rubricas objetivas e programaticamente verificáveis, em que o juiz chega a ser até 50% mais propenso a marcar como cumprido um critério que ele mesmo falhou. Se a avaliação for usada para decidir alguma coisa, troque o juiz.

Como reduzir o viés do juiz?

Comece pelo que é gratuito: oculte a autoria, já que o rótulo sozinho move a nota em 0,43 ponto numa escala de sete. Depois rode as duas ordens em comparações pareadas e tire a média. Use rubrica agnóstica de formatação, porque numa avaliação sistemática o viés de estilo foi o maior, favorecendo markdown sobre texto simples. Por fim, escolha um juiz de outra família que a do modelo avaliado.

O juiz precisa ser um modelo grande?

Não necessariamente, e há dado sobre isso. Na avaliação sistemática de nove estratégias de correção de viés, a melhor configuração testada usou um modelo rápido e barato com estratégia combinada, alcançando 71,0% de concordância a cerca de US$ 0,001 por avaliação, aproximadamente quinze vezes mais barato que a melhor montagem com modelo de fronteira. Vale mais investir em corrigir viés e calibrar do que em contratar o juiz mais caro disponível.

Melhor pedir nota ou pedir comparação?

Comparação. Nota absoluta depende de uma âncora que o modelo não mantém estável entre rodadas, enquanto comparar A com B exige apenas ordenação. Na prática, use o juiz para detectar regressão entre versões e evite tratar a média das notas como medida de qualidade.

• Juiz forte concorda com humano tanto quanto humano concorda com humano. É esse o teto realista.
• Só o rótulo de autoria move a nota em +0,43 numa escala de 7, com a qualidade equiparada.
• Rubrica objetiva não resolve. Em critério verificável por código, o juiz aprova a própria falha até 50% mais.
• O mecanismo é familiaridade, não vaidade. Por isso pedir imparcialidade não corrige.
• O viés de estilo foi o maior numa avaliação sistemática, e o de posição, mínimo. O folclore inverteu.
• Oculte a autoria, troque a ordem, use juiz de outra família. E prefira comparar a dar nota.

Isso fecha a semana de medir. A próxima trata do que o agente carrega enquanto trabalha: contexto, memória e o que vale guardar. O mapa das cinco camadas continua no pilar sobre harness engineering.