Como avaliar IA antes de colocar um agente no ar

Equipe Viver de IA · 2026-09-01

O agente responde bonito na demo e trava na primeira semana real. A diferença entre os dois mundos é uma avaliação que quase ninguém faz.

O agente que impressiona na demo e some na segunda-feira

Sexta à tarde, o time reúne o dono na sala pra mostrar o agente novo. Alguém digita três perguntas caprichadas, o bot responde redondo, todo mundo bate palma e a decisão sai na hora: sobe segunda.

Segunda de manhã, chega a pergunta que ninguém testou. Um cliente escrevendo com erro de português, sem contexto, misturando dois assuntos numa frase só. O agente inventa um número de protocolo que não existe. Ninguém percebe até quinta, quando o cliente liga irritado cobrando o que o robô prometeu.

Esse buraco entre a demo e a operação real é o assunto deste texto. E a ponte que falta tem nome: avaliação com casos reais.

Como avaliar IA é decidir se ela erra menos que o processo que ela substitui

Quando a gente fala em como avaliar IA, a maioria pensa em achar o agente perfeito. Perfeito não existe, nem no humano que fazia a tarefa antes. A pergunta certa é mais seca: esse agente acerta com consistência suficiente pra rodar sozinho, e quando erra, o erro é barato de corrigir?

Avaliar IA é montar um conjunto de perguntas e situações reais, com a resposta certa já conhecida, e medir quantas o agente acerta. Parece óbvio. O padrão que a gente vê nos projetos é o teste "na mão": alguém abre o chat, digita umas coisas que lembra na hora, gosta do resultado e libera. Isso não é avaliação. É impressão.

A diferença entre impressão e avaliação é a mesma entre "achei o vendedor simpático" e "o vendedor bateu meta três meses seguidos". Uma é sensação. A outra é número que você pode repetir amanhã e comparar.

Junta 50 casos reais → Define resposta certa de cada um → Roda o agente nos 50 → Conta acertos e erros → Sobe ou ajusta

O conjunto de casos reais é o coração da coisa (e o que ninguém quer montar)

Caso real é uma situação que já aconteceu na sua operação, com a resposta que teria sido correta. Não é pergunta inventada pra o agente brilhar. É a pergunta torta do cliente confuso, o pedido fora do padrão, a dúvida que o atendente humano levaria pra chefia.

O jeito de montar isso é chato e por isso é bom: a concorrência não copia. Você vai no histórico real.

• Puxe as últimas 50 conversas de atendimento, e-mails ou tickets que o agente vai passar a responder.
• Pra cada uma, escreva ao lado qual seria a resposta certa (ou a ação certa: encaminhar, negar, pedir mais dado).
• Marque quais são fáceis e quais são as "casca de banana": a reclamação agressiva, o caso de exceção, o cliente que quer desconto que a empresa não dá.
• Guarde essa planilha. Ela é seu gabarito. Nunca mude ela em cima da hora só pra o agente passar.

Umas 30 a 50 situações já dão um retrato honesto pra começar. O erro clássico aqui é montar 10 casos todos fáceis, ver o agente gabaritar e concluir que está pronto. Está pronto pra os 10 fáceis. A operação real é 70% de casos médios e um punhado de casos difíceis que definem se você vai dormir tranquilo.

Sem definir o que é "aprovado" antes de testar, todo resultado vira desculpa

Aqui é onde a maioria escorrega. Roda o teste, o agente acerta 34 de 50, e aí começa a discussão: "34 é bom?". Se você não decidiu a régua antes, vai decidir a régua olhando pro resultado que quer aprovar. Isso não é medir. É justificar.

Defina o corte antes de rodar. E o corte não é um número mágico igual pra tudo. Depende do que acontece quando o agente erra.

• Erro barato e reversível (agente sugere uma resposta que um humano revisa antes de mandar): o corte pode ser mais generoso. Um errinho aqui custa um clique.
• Erro caro ou irreversível (agente responde direto ao cliente, fecha valor, promete prazo): o corte sobe muito. Nesse cenário, uma resposta inventada por semana já é motivo pra não subir sozinho ainda.

Na nossa leitura, essa é a decisão mais importante e a mais ignorada: casar o nível de autonomia com o custo do erro. Agente que só sugere pode ir ao ar cedo. Agente que age sozinho tem que suar muito mais na avaliação.

Antes de olhar o placar, escreva num papel qual nota aprova. Depois rode. Quem define a régua depois do jogo sempre ganha, e sempre no autoengano.

As categorias de erro que você tem que separar (porque não são todas iguais)

Contar "quantos acertou" é o começo. O que ensina de verdade é olhar COMO errou. Nos casos que a gente acompanha, os erros caem em três baldes bem diferentes, e cada um pede um remédio diferente.

O erro de invenção (o mais perigoso)

O agente responde com confiança total uma informação que não existe. Número de protocolo inventado, prazo que ninguém prometeu, política da empresa que ele deduziu. Esse é o erro que derruba a confiança do cliente e o mais difícil de flagrar, porque a resposta PARECE certa. Se aparece nos seus casos de teste, é bloqueador. Não sobe até resolver.

O erro de recusa (o mais barato)

O agente diz "não sei" ou encaminha pra um humano numa situação que ele deveria resolver. Chato, gera trabalho, mas é seguro. Cliente encaminhado a mais é irritação. Cliente que recebe mentira é processo. Entre os dois, prefira o agente medroso ao agente confiante demais.

O erro de tom ou de foco

Acerta o conteúdo, erra a entrega: responde seco num assunto sensível, ignora metade da pergunta, usa um jargão que o cliente não entende. Ajuste de instrução resolve a maioria. Raramente é bloqueador, mas some da experiência se você não medir.

Separar os três muda a conversa. "Errou 16 de 50" assusta. "Errou 16, sendo 13 de recusa segura, 3 de tom e zero de invenção" é um agente quase pronto pra subir com supervisão leve. O placar cru esconde isso.

Rode a avaliação de novo toda vez que mexer no agente

Aqui está o hábito que separa quem trata IA como projeto de quem trata como brinquedo. Toda vez que alguém mexe no prompt, troca o modelo, adiciona uma base de conhecimento nova, o agente muda de comportamento. Às vezes melhora numa coisa e piora em três que já funcionavam.

É o mesmo gabarito de 50 casos rodando de novo. Cinco minutos de trabalho se você automatizou, e evita o clássico: "consertei o problema do prazo e sem querer quebrei a resposta de cancelamento". Sem rodar o conjunto inteiro toda vez, você conserta às cegas.

A Digital Presenc X construiu um agente de atendimento pra perguntas de alta complexidade que roda há cinco meses, com R$ 144.000 de economia anual. Um agente que aguenta complexidade e permanece cinco meses no ar não nasceu pronto na demo. Ele foi medido, ajustado, remedido. Essa disciplina de reavaliar a cada mudança é o que mantém um agente vivo em produção em vez de virar aquele bot que "a gente desligou porque começou a falar besteira".

Comece medindo com humano ao lado, não substituindo o humano

A forma mais segura de avaliar um agente é colocá-lo pra rodar em paralelo com quem faz a tarefa hoje, antes de dar autonomia. O agente sugere, o atendente aprova ou corrige. Cada correção do atendente vira um caso novo pro seu gabarito. É avaliação e treino ao mesmo tempo, com a rede de segurança do humano que já sabia fazer.

Passam uma ou duas semanas assim e você tem duas coisas que dinheiro nenhum compra: um placar real de quantas vezes o humano precisou intervir, e uma pilha de casos difíceis que você jamais imaginaria sentado numa reunião.

1. Semana 0: monte o gabarito com 30 a 50 casos do histórico
2. Régua: defina a nota que aprova, antes de rodar
3. Paralelo: agente sugere, humano aprova, cada correção vira caso novo
4. Corte: separe erros de invenção, recusa e tom
5. Decisão: sobe sozinho, sobe supervisionado, ou volta pra ajuste

Quando a intervenção humana cai pra perto de zero nos casos que importam, o agente ganhou autonomia. Não porque alguém achou bonito na sexta. Porque o número mostrou.

Onde a avaliação simples não basta

Honestidade: nem tudo dá pra reduzir a acertou/errou. Quando a tarefa é criativa (escrever um texto, resumir um documento longo), não existe uma única resposta certa. Aí a avaliação vira mais qualitativa: um humano lê uma amostra e dá nota. É mais trabalhoso e mais subjetivo, e ainda não existe atalho limpo pra isso no mercado, nem a gente tem. Quem promete uma métrica automática perfeita pra qualidade de texto criativo está vendendo mais do que entrega.

O que dá pra fazer bem é o inverso: definir os erros inaceitáveis. Num resumo de documento financeiro, por exemplo, você pode não conseguir medir "ficou elegante", mas mede fácil "inventou um valor que não estava no documento". A Costa e Savian Advogados usa IA pra condensar e analisar volumes grandes de documentos financeiros e contábeis, com R$ 48.000 de economia anual, e a metodologia deles é justamente IA como complemento ao trabalho do advogado, aprimorando o rascunho, sem substituir o olho humano no que é crítico. Avaliação, nesse caso, é garantir que o erro caro (número errado) não passa, e deixar o subjetivo pro humano decidir.

Se você quer isso montado em vez de montar do zero

Existem três caminhos pra chegar num agente avaliado e confiável.

O primeiro é montar tudo internamente: alguém do time vira dono do gabarito, dos testes, da rotina de reavaliação. Funciona, mas exige uma pessoa com tempo e método, e leva meses de tentativa e erro pra acertar a régua.

O segundo é contratar consultoria que entrega um diagnóstico bonito em slide, aponta "vocês deveriam avaliar melhor" e vai embora. Você fica com o problema e um PDF.

O terceiro, e é o que a gente recomenda de verdade, é implementar por dentro com método e plataforma prontos: os casos de avaliação, o critério de corte e a rotina de reteste já vêm estruturados, e a capacidade fica na sua empresa em vez de sair pela porta com o consultor. O trade-off honesto é que esse caminho exige um dono interno e uma rotina, o piloto automático não existe aqui. Em troca, o time aprende a avaliar sozinho os próximos agentes. Se quiser ver como isso funciona antes de decidir, o diagnóstico de IA mostra por onde sua operação começaria.

O trade-off que fica

Avaliar direito custa tempo antes de subir. Montar 50 casos, definir a régua, rodar em paralelo por duas semanas: isso atrasa o lançamento. É o preço.

O que você compra com esse atraso é dormir tranquilo. É o agente que fica cinco meses no ar em vez de ser desligado às pressas na primeira reclamação. É saber, com número, que ele erra menos que o processo que substituiu, e que quando erra, erra do jeito barato.

Quem pula a avaliação lança mais rápido e paga depois, em confiança de cliente queimada e retrabalho acumulado. Quem avalia lança mais devagar e paga uma vez só. A escolha é essa. Não tem terceira via que seja rápida E segura ao mesmo tempo, e desconfie de quem disser que tem.

Relacionados

Agentes de IA: o guia completo

Soluções de IA prontas para empresas

Mais de 500 cases reais de IA

Gemini com 1 bilhão de downloads não vira operação sozinho

O que é fine-tuning: ajustar um modelo aos seus dados