Como medir agente de IA sem se enganar com número bonito

Equipe Viver de IA · 2026-09-16

O agente responde rápido e educado, mas isso não diz se ele entrega valor. Três eixos que separam show de resultado.

O agente responde bonito e ninguém sabe se ele funciona

O agente entrou no ar numa sexta. Segunda de manhã o dono abre o painel: 1.240 conversas atendidas no fim de semana, tempo médio de resposta de 4 segundos, zero fila. Todo mundo comemora no grupo do WhatsApp. Mas dessas 1.240 conversas, uma parte grande virou "vou verificar e te retorno" que nunca retornou, e outra parte irritou o cliente a ponto de ele ligar no comercial reclamando.

Esse é o buraco. Agente de IA é fácil de colocar pra funcionar e difícil de saber se está funcionando. Ele nunca fica em silêncio. Responde sempre, com educação, em segundos. E é justamente essa fluência que engana: a gente confunde "parece que trabalha" com "resolve o problema".

Saber como medir agente de ia não é olhar volume de mensagem nem tempo de resposta. É responder três perguntas que o painel bonito esconde: ele acerta? quanto custa cada acerto? o cliente sai satisfeito ou frustrado? Essas três coisas juntas dizem se o agente entrega valor. Isoladas, cada uma mente.

Por que velocidade e volume enganam

A maioria dos painéis de agente vende métrica de vaidade. Número de conversas, tempo de resposta, taxa de "resolução" que o próprio sistema declara pra si mesmo. São bonitos de mostrar em reunião e não provam nada.

O problema é conceitual. Um agente que responde rápido e errado é pior que um humano lento e certo, porque ele erra na velocidade da luz e em escala. Se ele confunde uma informação em 1 conversa por hora, no fim do mês são centenas de clientes com resposta torta, todos convencidos de que aquilo era oficial.

Na nossa leitura, o pecado de origem é medir o que é fácil de contar em vez do que importa. Contar mensagem é trivial. Medir se a mensagem resolveu o pedido do cliente dá trabalho, exige ler amostra, exige critério. E é aí que a maioria das empresas desiste e fica com o painel de vaidade.

Cliente pergunta → Agente responde → Resolveu de verdade? → Mede acerto, custo, satisfação

Repare no terceiro nó. É onde 9 em cada 10 implementações param de medir. O agente respondeu, então marca como "atendido" e segue a vida. Mas "respondeu" e "resolveu" são coisas diferentes, e a distância entre as duas é exatamente o valor que você está ou não capturando.

O primeiro eixo: acerto, o número que dá mais trabalho

Acerto é a taxa de vezes em que o agente entregou a resposta certa e completa para o que o cliente realmente pediu. Não é o que o sistema acha que acertou. É o que uma pessoa, lendo a conversa, confirmaria como correto.

Parece óbvio e quase ninguém faz direito. O jeito honesto de medir acerto tem três ingredientes:

1. Um conjunto de casos de referência. Você separa 30 a 50 perguntas reais que os clientes de fato fazem, com a resposta certa já validada por quem entende do assunto. Esse é o gabarito. Toda vez que você mexe no agente, roda ele contra esse gabarito antes de subir pra produção.
2. Uma amostra semanal de conversas reais. Ninguém consegue ler tudo. Mas dá pra ler 40, 50 conversas por semana e classificar cada uma: acertou, acertou pela metade, errou, inventou. Esse último caso é o mais perigoso.
3. Um alvo de escape claro. Quando o agente não sabe, ele tem que dizer que não sabe e passar pra um humano. Um agente que chuta em vez de escalar não está acertando menos, está fabricando erro com cara de resposta.

O erro que inventa informação tem nome técnico feio e um efeito prático simples: o cliente confia no que a máquina disse e age em cima disso. No atendimento de saúde, isso é grave. No Centro Médico Alphaview, a automação da recepção chegou a 80% a 87% do fluxo justamente porque o desenho separou o que a IA podia responder sozinha do que precisava de gente. Confirmação de consulta por WhatsApp e reforço por voz: tarefa fechada, resposta verificável. A régua de acerto ali é dura porque o custo de errar um horário de consulta é o paciente perdendo a vaga.

Como você lê uma conversa e classifica o acerto

Não precisa de ferramenta cara pra começar. Precisa de disciplina. Pega a conversa, olha a última pergunta clara do cliente e a resposta do agente, e se pergunta: se eu fosse o cliente, sairia daqui com o problema resolvido ou com uma nova dúvida? Marca numa planilha. No fim da semana você tem uma taxa de acerto real, não a declarada pelo sistema. É rudimentar e é infinitamente melhor que o painel de vaidade.

O segundo eixo: custo por acerto, não custo por mensagem

Quase toda conta de custo de IA está errada porque olha o lugar errado. As pessoas somam quanto pagaram de uso no mês e dividem pelo número de conversas. Custo por conversa. Isso não diz nada.

O número que importa é o custo por problema resolvido. Se o agente atende 1.000 conversas por R$ 500, mas só resolve 300 de verdade e as outras 700 caem no colo de um atendente humano depois, o custo real não é R$ 0,50 por conversa. É R$ 500 dividido por 300 resolvidas, mais o custo do humano que teve que refazer 700. Aí a conta muda de figura.

Custo de agente tem três camadas que a gente sempre separa:

• O custo de uso. O que você paga pelo processamento de cada resposta. Varia conforme o modelo e o volume; os provedores cobram por uso e a tabela muda, então confira a oficial atual em vez de decorar preço.
• O custo de retrabalho. Toda conversa que o agente não resolveu e um humano teve que assumir. Esse costuma ser o maior de todos e fica fora da planilha na maioria das operações.
• O custo de erro. O cliente que recebeu resposta errada, agiu em cima, e gerou um problema depois. Difícil de quantizar, mas real.

Quando você olha as três camadas juntas, entende por que um agente "barato" que resolve pouco sai mais caro que um bem desenhado que resolve muito. A Diamante Crédito Imobiliário montou agentes de IA pra analisar reuniões de SDR, gerar notas de qualidade e mapear objeções. R$ 252.000 de economia anual não veio de responder mensagem barato. Veio de resolver um problema específico (treinar melhor a equipe a partir do que a IA leu nas reuniões) que antes consumia hora de gente cara.

Quando o assunto vira quanto isso custa pra montar direito, vale olhar os planos com o custo por acerto na cabeça, não o custo por mensagem. A pergunta certa na hora de investir não é "quanto é a assinatura", é "quanto me custa hoje cada problema que fica sem resolver".

O terceiro eixo: satisfação, o que o cliente sente e não digita

Acerto e custo são medíveis com planilha. Satisfação é mais escorregadia porque o cliente raramente diz "gostei" ou "detestei". Ele demonstra por comportamento.

Os sinais de satisfação que valem a pena rastrear:

• Repetição da pergunta. Se o cliente reformula a mesma dúvida três vezes, o agente não está entregando. A resposta pode até estar tecnicamente certa e ainda assim não servir.
• Pedido de humano. A taxa de "quero falar com uma pessoa" é um termômetro brutal. Quando sobe, o cliente perdeu a paciência.
• Abandono no meio. A conversa que morre sem conclusão. O cliente foi embora antes de resolver.
• O que acontece depois. O cliente que foi atendido pelo agente comprou, agendou, voltou? Ou sumiu?

Esse último é o mais honesto de todos e o mais esquecido. Satisfação de verdade não é uma carinha sorridente no fim da conversa. É o cliente seguir na jornada. A Besser Home implementou a "Bruna", uma SDR virtual que qualifica e agenda visitas pra todos os leads 24 horas por dia, com CRM customizado gerenciando metragens e detalhes técnicos. R$ 480.000 de receita gerada é a prova de satisfação que importa: o lead atendido pela IA seguiu adiante e virou visita agendada. Se ele saísse frustrado, não agendaria nada.

Aqui a gente é teimoso: satisfação sem consequência de negócio é enfeite. A carinha feliz que o cliente clica no fim não paga conta. O agendamento que ele fez depois, sim.

Os três juntos, porque separados cada um mente

O ponto do texto inteiro é este: nenhum dos três eixos sozinho diz a verdade.

Um agente com acerto alto e custo alto pode não valer a pena. Um agente barato com acerto baixo é uma bomba-relógio de retrabalho. Um agente com satisfação boa e acerto ruim é um simpático que engana o cliente com educação. Você precisa dos três na mesma tela pra tomar decisão.

A leitura cruzada é o que separa quem gerencia agente de quem só liga o agente. Acerto subindo e custo subindo junto? Provavelmente o agente está escalando demais pra humano. Satisfação caindo com acerto estável? A resposta está certa mas o tom ou o caminho está ruim. Cada combinação conta uma história diferente e aponta pra um ajuste diferente.

Como começar a medir agente de IA nesta semana

Não dá pra medir os três eixos com perfeição de cara. Dá pra começar tosco e ir refinando. O caminho que funciona na prática:

1. Monte o gabarito: separe 30 a 50 perguntas reais com a resposta certa validada
2. Leia amostra: classifique 40 a 50 conversas por semana em acertou, meia-boca, errou, inventou
3. Isole o custo real: some uso mais retrabalho, divida por problema resolvido
4. Rastreie um sinal de satisfação: escolha um só (pedido de humano ou repetição) e acompanhe a curva
5. Cruze os três: olhe os eixos juntos toda semana e ajuste o que a combinação apontar

O erro mais comum nessa fase é querer automatizar a medição antes de entender o que medir. A empresa monta um dashboard lindo que rastreia 15 métricas e não olha nenhuma. Melhor uma planilha suja com três números que você lê toda segunda do que um painel automático que ninguém abre.

O segundo erro é medir só uma vez, no lançamento, e nunca mais. Agente de IA regride. O comportamento dos clientes muda, você mexe no prompt, o modelo por trás muda. O que acertava mês passado pode estar errando agora, e você só descobre se está medindo de forma contínua. Medição de agente não é foto, é filme.

Quem deveria olhar esses números dentro da empresa

Não é o time de TI. É quem responde pelo resultado da área onde o agente trabalha. Se é agente de atendimento, é o dono do atendimento. Se é SDR virtual, é o gestor comercial. A pessoa que sente na pele quando o cliente fica frustrado é a que precisa ler a taxa de acerto toda semana, porque é ela que sabe o que é acerto naquele contexto. Se você quer um retrato de onde a sua operação está antes de montar isso, o diagnóstico de IA ajuda a mapear onde o agente entrega valor e onde ele só parece que entrega.

O trade-off que fica

Medir agente de IA direito custa tempo. Ler amostra toda semana, montar gabarito, cruzar três eixos: isso é trabalho de gente, recorrente, e não some quando o agente amadurece. Fica pra sempre, do mesmo jeito que você nunca para de olhar o caixa da empresa.

Em troca desse trabalho, você ganha uma coisa que o padrão que a gente vê no mercado não tem: a certeza de que o seu agente entrega valor real. A empresa que só olha volume e velocidade vive na dúvida, comemorando número que não paga conta. A que mede acerto, custo e satisfação sabe exatamente quanto o agente vale e onde ele falha.

Dá pra terceirizar a construção do agente. A capacidade de saber se ele funciona, essa fica com quem olha o número toda segunda. E é ela que decide se a IA na sua empresa é investimento ou enfeite caro.

Relacionados

Agentes de IA: o guia completo

Soluções de IA prontas para empresas

Mais de 500 cases reais de IA

Chrome com Gemini navega sozinho: o risco é o agente sem dono

PL 2.338 da IA: o que sua empresa faz enquanto não fecha