Nesta página
Como funciona
- A avaliação roda alguns minutos depois da última resposta do agente, e não a cada mensagem. Se o agente responder de novo antes disso, a espera recomeça. Assim, a conversa é lida depois que assentou.
- Se a conversa continuar mais tarde, ela é avaliada de novo, já com o que aconteceu depois.
- Para cada objetivo, a avaliação diz se o agente cumpriu e dá uma nota. A nota da conversa é a média dos objetivos que se aplicavam.
- Junto com a nota vêm um resumo, os pontos fortes, os pontos fracos e recomendações para melhorar o agente.
- A avaliação só lê a conversa: o cliente não vê nada e nenhuma mensagem é enviada.
Como ligar
A avaliação só roda com duas coisas configuradas no Painel do agente:
- Observabilidade ligada. No card Observabilidade & Análise, clique em Ativar Observabilidade. A mesma chave fica em Avançado → Configurações do Agente → Observabilidade.
- Pelo menos um objetivo. No card Objetivos do Agente, clique em Adicionar Objetivo, preencha o Título e a Descrição e clique em Adicionar.
Sem objetivo, nada é avaliado, mesmo com a Observabilidade ligada.
O que são os objetivos
Objetivo é o que você espera que o agente faça na conversa, escrito em linguagem simples. Exemplos:
- "Pedir o nome e o e-mail antes de passar o preço";
- "Se o cliente quiser cancelar, oferecer outra opção antes".
Use a Descrição para dizer quando o objetivo vale e o que conta como cumprido: a avaliação lê o título e a descrição.
Cada objetivo recebe uma nota de 0 a 100 e um resultado:
| Resultado | Quando |
|---|---|
| Atendido | o agente fez o que o objetivo pede |
| Parcial | o agente fez só uma parte |
| Não atendido | o objetivo valia para a conversa e o agente não cumpriu |
| Não aplicável | a situação do objetivo não aconteceu (ex.: o cliente nem falou em cancelar) |
Objetivo Não aplicável não entra na média, então não derruba a nota da conversa.
O que entra na nota
- Só o agente avaliado é pontuado. As mensagens da equipe ficam fora da avaliação. O que outro agente respondeu antes na mesma conversa serve só de contexto.
- Atendimento atual. Se a conversa ficou mais de 7 dias parada, só conta o que veio depois da pausa. Em conversas muito longas, entram as mensagens mais recentes.
- Precisa de resposta do agente. Conversa em que o agente avaliado não respondeu não é avaliada.
- Falha técnica não tira nota. Se a resposta do agente não saiu por erro da plataforma, isso não conta contra ele.
- Objetivo não é retroativo. Um objetivo criado ou editado não é cobrado de respostas que o agente deu antes disso.
Onde ver as notas
Na tela de Observabilidade do agente
No Painel, card Observabilidade & Análise, clique em Ver métricas e relatórios. A tela tem três abas:
- Performance: escolha Mês ou Semana e veja a Visão Geral do período, com Conversas Avaliadas, Score Médio (0 a 100), Taxa de Sucesso (objetivos atendidos sobre os que se aplicavam), Avaliações (conta as reavaliações), Conversas Problemáticas e Aprendizados pendentes.
- Conversas Problemáticas: conversas em que algum objetivo ficou Não atendido ou com nota abaixo de 60. Cada uma mostra o Score, Marcar como revisada e Ver conversa. Filtre por Pendentes, Revisadas ou Todas.
- Aprendizados: sugestões que a IA tira das conversas do agente. Aplique nas instruções (Implementar sugestão automaticamente), ajuste antes (Editar Manualmente) ou descarte. A aba Aprendizados do agente abre a mesma lista.
Antes da primeira avaliação, a tela mostra Observabilidade Ativada e ainda não tem números.
Em cada conversa, no Chatcenter
Abra a conversa, clique no menu de três pontos (⋮) no topo e escolha Score da Conversa. O painel mostra a nota, o Resumo da Avaliação, o Score por Objetivo (com a análise e as evidências), os Pontos Fortes, os Pontos Fracos e as Recomendações. Conversa sem avaliação mostra Score não disponível.
Consumo de tokens
Cada avaliação usa um modelo de IA e consome tokens, como uma resposta do agente. O consumo aparece em Uso e consumo e é descontado do saldo do workspace, como o das respostas.
Como cada conversa é avaliada depois da última resposta, e de novo se continuar, o consumo cresce com o número de conversas do agente.
Para não ter esse consumo:
- desligue a Observabilidade do agente: nada mais é avaliado, nem as avaliações que estavam esperando;
- ou remova todos os objetivos: sem objetivo, a avaliação não roda.
Perguntas frequentes
A avaliação responde ao cliente ou muda a conversa?
Não. Ela só lê a conversa e registra a nota. O cliente não vê nada.
Quanto tempo depois a nota aparece?
Alguns minutos depois da última resposta do agente. Se o agente continuar respondendo, a avaliação espera a conversa parar.
Por que uma conversa não foi avaliada?
Confira se a Observabilidade está ligada e se o agente tem pelo menos um objetivo. Conversas em que o agente não respondeu também não são avaliadas.
A tela de Observabilidade mostra Objetivos Necessários
O agente ainda não tem objetivo. Clique em Configurar Objetivos e adicione pelo menos um no Painel.
Um objetivo que não aconteceu na conversa baixa a nota?
Não. Ele fica como Não aplicável e não entra na média.
As mensagens da minha equipe são avaliadas?
Não. A nota é só do agente de IA. As mensagens da equipe ficam fora da avaliação.
Como parar o consumo de tokens da avaliação?
Desligue a Observabilidade no card Observabilidade & Análise, no Painel do agente, ou remova todos os objetivos.