Avaliação de IA: como saber se o modelo está pronto

Equipe Viver de IA · 2026-09-02

Antes de colocar a IA na frente do cliente, tem um trabalho que quase ninguém faz direito: medir se ela está boa o suficiente. Aqui vai como a gente decide isso por dentro.

O número que ninguém pergunta antes de subir a IA

Grande parte das empresas que começa a usar IA sobe a primeira versão pro cliente sem nenhuma medição formal. O critério é "testei aqui e pareceu bom". Testou umas cinco perguntas, funcionou, tá no ar.

Esse é o buraco. "Pareceu bom" no seu teste de terça à tarde não é avaliação de IA. É sorte com amostra pequena. E a conta dessa sorte chega quando o cliente faz a sexta pergunta, a que você não testou, e a IA responde com confiança total uma informação errada.

A gente vê esse padrão direto nos projetos. O time monta um assistente, roda alguns testes improvisados, todos ficam empolgados, e ninguém sabe dizer: de 100 perguntas reais de cliente, quantas a IA acerta? Sem esse número, a decisão de colocar na frente do cliente vira torcida, não engenharia.

Esse texto é sobre como a gente resolve isso por dentro. Não é teoria de laboratório. É o que a casa olha primeiro, o que descarta, e a sequência que a gente segue antes de deixar uma IA falar com quem paga a conta.

O que é avaliação de IA, em português de gestor

Avaliação de IA é o processo de medir, com método, se a resposta que o modelo dá é boa o suficiente pro uso que você vai dar. Não é "a IA é inteligente?". É "nesta tarefa específica, com estas perguntas reais, ela erra pouco o bastante pra eu confiar?".

Repare na palavra "tarefa". Uma IA pode ser ótima pra resumir reunião e péssima pra responder dúvida de garantia do seu produto. Avaliar não é dar nota pro modelo em geral. É dar nota pra ele no seu trabalho.

E aqui a gente é teimoso: avaliação boa precisa de um gabarito. Um conjunto de perguntas reais com a resposta certa já escrita por alguém que entende do assunto. Sem gabarito, você não está avaliando, está adivinhando se gostou da resposta. A diferença entre as duas coisas é a diferença entre um projeto que escala e um que dá ré em três semanas.

Junta perguntas reais → Escreve o gabarito → Roda a IA → Compara com o certo → Mede o acerto

Esse fluxo parece óbvio escrito assim. Na prática, a maioria pula o segundo passo direto pro "roda a IA e olha se gostou". O gabarito é o trabalho chato que separa medição de opinião.

A jornada real: do "parece bom" ao número que segura decisão

Veja como isso evolui num projeto de verdade, em fases. A avaliação não nasce pronta, ela amadurece junto com a IA.

Fase 1: o teste de bar

No começo, todo mundo testa no olho. Abre a ferramenta, faz umas perguntas, vê se a resposta faz sentido. Isso não é errado como primeiro filtro. Serve pra pegar o erro grosseiro: a IA inventa, ignora o contexto, responde em tom errado.

O problema é parar aqui. O teste de bar tem duas doenças. Primeira: você testa as perguntas fáceis, as que já sabe que funcionam. Segunda: você não anota nada, então na semana seguinte não lembra o que já tinha quebrado. A gente chama isso internamente de fase de namoro. É gostoso, é rápido, e não prova nada.

Fase 2: o conjunto de testes escrito

Aqui vira trabalho de gente grande. A gente senta com quem conhece o cliente (o atendente, o dono, o vendedor) e junta as perguntas que aparecem de verdade. Não as bonitas. As chatas.

A pergunta do cliente irritado. A que tem erro de português. A que mistura dois assuntos. A que pede uma coisa que a empresa não faz e a IA precisa saber dizer "isso a gente não atende". Esse conjunto vira o gabarito, e a partir dele você consegue rodar a mesma bateria toda vez que muda algo na IA.

É o momento em que a avaliação para de depender do humor de quem testou.

Fase 3: o número que sustenta a decisão de subir

Com gabarito na mão, você roda as 50, 100, 200 perguntas e conta. Quantas a IA acertou. Quantas errou feio. Quantas ficaram na zona cinza. Agora você tem uma taxa, e a decisão de colocar na frente do cliente deixa de ser fé.

Mais importante: você tem uma linha de base. Da próxima vez que trocar o modelo ou mexer no prompt, roda a mesma bateria e vê se melhorou ou piorou. Sem linha de base, toda mudança é chute com cara de melhoria.

Os quatro critérios que a gente olha primeiro

Avaliar não é uma nota só. A gente decompõe em coisas que dá pra medir separado. Estes são os que pesam mais na maioria dos projetos:

1. Está certo? A informação bate com a verdade. Preço, prazo, política, o que a empresa faz e não faz. Erro aqui é o mais caro, porque o cliente age em cima da resposta errada.
2. Está completo? Respondeu tudo que foi perguntado ou pela metade? Meia resposta gera a segunda pergunta, e a segunda pergunta é onde a IA costuma se enrolar.
3. Sabe dizer que não sabe? Esse é o critério que a maioria esquece e que a gente valoriza demais. Uma IA que responde "não tenho essa informação, vou te passar pro time" é infinitamente mais segura que uma que inventa com confiança. A pior resposta não é o "não sei". É o erro dito com certeza.
4. Está no tom certo? Uma clínica não fala como uma loja de skate. Uma resposta tecnicamente correta no tom errado ainda arranha a marca.

Repare que só o primeiro critério é sobre "acertar". Os outros três são sobre não estragar. Na nossa leitura, é aí que mora a diferença entre uma IA que ajuda e uma que vira problema de atendimento.

5x: mais segurança medida no fluxo de projetos da Átila Gouvêa Vilela

Quando a Átila Gouvêa Vilela estruturou o processo dela combinando ideação visual, IA e plataforma de construção, o ganho que ficou não foi só velocidade. Foi segurança no fluxo, medida, não sentida. Segurança é resultado de medir, não de torcer.

O erro que faz a avaliação mentir pra você

O erro número um não é testar de menos. É testar com as perguntas erradas.

Quando a mesma pessoa que construiu a IA é a que monta o gabarito, ela testa sem querer só o que a IA já sabe fazer. É viés puro. Você pergunta o que ensinou a responder. A taxa de acerto sai linda e não significa nada, porque as perguntas de verdade do cliente não estão ali.

A gente corrige isso de um jeito simples: quem escreve as perguntas de teste é quem atende o cliente, não quem programou a IA. O atendente sabe a pergunta que dá dor de cabeça. O programador sabe a pergunta que a IA responde bem. São conjuntos diferentes, e é o primeiro que interessa.

O segundo erro é medir uma vez e parar. IA não é estável do jeito que um sistema tradicional é. Muda o modelo por baixo, muda o comportamento. O que passava mês passado pode não passar mais. Avaliação não é um portão que você atravessa uma vez. É um termômetro que fica ligado.

Onde botar a régua: qual nota é boa o suficiente

Aqui vem a pergunta que pouca gente quer responder com honestidade. Qual taxa de acerto libera a IA pro cliente?

A verdade desconfortável: depende do custo do erro. E isso muda tudo.

Por que 95% pode ser péssimo e 80% pode ser ótimo?

Uma IA que responde "em que horário vocês abrem" pode ter uma barra mais baixa: se errar, o cliente confere no Google e segue a vida. Já uma IA que fala de dosagem, de contrato ou de valor a pagar não tem margem. Um erro em cem já é grave demais pra subir sozinha.

Então a régua não é um número universal. É a resposta a duas perguntas: quão caro é o pior erro possível, e existe um humano no circuito pra pegar antes de chegar no cliente? Uma IA com 80% de acerto e revisão humana é mais segura que uma com 95% solta no automático. O que segura o risco não é só a nota. É a nota junto com o desenho de quem confere.

Por isso, nos casos de risco alto, a gente sobe a IA primeiro como copiloto: ela sugere, o humano aprova. Só depois de meses de dados reais, com a taxa provada em produção, é que se discute deixar ela responder direto. Pular essa etapa pra economizar tempo é onde a maioria dos projetos se acidenta.

Comprar avaliação pronta, montar do zero, ou implementar por dentro

Quando cai a ficha de que precisa medir, aparecem três caminhos, e cada um tem um preço escondido.

A gente recomenda o terceiro, e é honesto sobre o custo dele: exige alguém dentro da empresa dono do processo, testando, medindo, mantendo o gabarito vivo. Em troca, a capacidade de julgar se uma IA está boa não fica terceirizada. Fica em casa, com quem conhece o cliente. Se você quer isso montado com método e acompanhamento em vez de reinventar sozinho, é o que a gente faz nas soluções prontas.

O que a gente descarta sempre: a promessa de que existe uma ferramenta que avalia sozinha, sem alguém seu escrevendo o gabarito. Não existe. A parte que dá trabalho é justamente a que não dá pra comprar.

O passo a passo que a gente segue antes de liberar

Se você vai colocar uma IA na frente do cliente nas próximas semanas, essa é a sequência mínima que a casa usa:

1. Junte 50 perguntas reais: as chatas, não as fáceis, escritas por quem atende
2. Escreva o gabarito: a resposta certa pra cada uma, revisada por quem entende
3. Rode e conte: compare resposta da IA com o gabarito, marque acerto, erro e zona cinza
4. Defina a régua: decida a nota mínima pelo custo do pior erro, não por um número redondo
5. Suba como copiloto: humano aprova antes do cliente, colhendo dados reais
6. Meça de novo: rode a bateria toda vez que mudar modelo ou prompt

Não é sofisticado. É disciplina. E é exatamente por ser chato que o padrão que a gente vê é de empresas que subiram IA no improviso, o que abre espaço pra quem faz direito.

Se você ainda está na dúvida se sua operação tem o básico pra medir isso, dá pra começar pelo diagnóstico de IA e enxergar onde estão os buracos antes de subir qualquer coisa.

A pergunta que fica

A maioria das empresas mede a IA depois que o cliente reclama. O gabarito verdadeiro vira o print do WhatsApp irritado no grupo do time, às seis da tarde, quando o estrago já aconteceu.

A avaliação existe pra inverter isso: descobrir o erro no seu teste, não na tela do cliente.

Então fica a pergunta que a gente faz no começo de todo projeto, e que vale você se fazer agora: se alguém te perguntasse hoje quantas das últimas 100 respostas que sua IA deu estavam certas, você teria o número, ou teria uma opinião?

Relacionados

Como implementar IA na empresa: o guia completo

Soluções de IA prontas para empresas

Mais de 500 cases reais de IA

IA jurídica com jurisprudência real muda o jogo forense

Quando software vira imposto: o caso da internalização