O que aprendemos testando IA para ler comentários de NPS

Toda pesquisa de NPS traz, junto da nota, um campo de comentário. É ali que o cliente diz o porquê: “o consultor sumiu depois da proposta”, “a revisão atrasou uma semana”, “fui muito bem atendida”. Uma rede de concessionárias recebe dezenas de milhares desses comentários por mês, e quase ninguém consegue ler todos.

A ideia de usar IA para isso é óbvia: ler cada comentário e colocá-lo no assunto certo, para o comitê de experiência ver quantas pessoas falam de prazo da oficina, de atendimento do vendedor ou de preço da revisão. O difícil é saber se a IA faz isso direito. Então testamos, antes de colocar qualquer coisa no Echo.

Uma IA que decide, em vez de escrever #

O ChatGPT e seus parentes escrevem: você pergunta e eles respondem com texto. Para classificar comentários, isso atrapalha, porque o texto varia, é caro de ler e não diz o quanto a IA está segura.

O Jev, da TypeSafe, inaugurou outro tipo de IA, a de decisão. Ela não escreve nada. Você faz uma pergunta fechada, como “este comentário fala de prazo de entrega, sim ou não?”, e ela devolve só um número de 0 a 1: a chance de a resposta ser sim. Depois dele, outros fornecedores lançaram modelos no mesmo estilo, e é essa família que testamos.

Como foi o teste #

Todos os dados do teste são sintéticos. A rede de concessionárias não existe, e os 1.614 comentários de NPS, assim como os 600 tickets de atendimento usados para criar os assuntos, foram gerados por IA para o teste. Nenhum dado de cliente real foi usado.

A vantagem de um caso sintético é que sabemos a resposta certa de cada comentário: de que assunto ele fala, se fala de dois assuntos ao mesmo tempo, ou se não fala de nada (“Ótimo, nota 10”).

Cada comentário passou por quatro IAs de decisão no estilo do Jev, de fornecedores diferentes: o TypeSafe Jev 1.13, o próprio Jev, o Perplexity Decider v1.1, o OpenAI Decisions e o Microsoft Decision-1. Para cada comentário, fizemos uma pergunta por assunto (“fala de prazo da oficina?”, “fala do consultor de vendas?”) e mais uma: “este comentário fala de algum assunto concreto?”.

Para não nos enganarmos, separamos os comentários em duas metades. Na primeira, ajustamos as regras. Na segunda, que o ajuste nunca viu, conferimos o resultado. É como estudar com uma lista de exercícios e fazer a prova com outra.

O resultado foi medido numa nota de acerto de 0 a 100. Ela cai tanto quando a IA coloca um assunto errado quanto quando esquece um assunto certo.

O nome do assunto importou mais que o modelo #

Rodamos o teste duas vezes. Na primeira, os assuntos tinham os nomes e as descrições que o Echo criou a partir dos tickets sintéticos do mesmo caso. Na segunda, os mesmos assuntos foram escritos de forma neutra, como um gestor faria ao montar a própria lista.

A nota subiu de 65 para 86, com o mesmo modelo e os mesmos comentários. E não foi coisa de um modelo só: os quatro subiram mais de 15 pontos.

Mesmo modelo, outro nome de assunto

Nota de acerto de 0 a 100 de cada modelo de decisão, nos mesmos comentários.

• Perplexity Decider v1.1 65 → 86
• OpenAI Decisions 65 → 83
• TypeSafe Jev 1.13 64 → 81
• Microsoft Decision-1 64 → 81

5060708090

Assunto com o nome tirado dos tickets Mesmo assunto, escrito de forma neutra

O motivo aparece num exemplo. Nos tickets, quase todo mundo que falava do consultor de vendas estava cobrando o andamento de uma proposta, e o assunto ficou com o nome “Acompanhamento de propostas de veículos”. Mas, na pesquisa, o cliente escreve “o consultor foi atencioso e explicou tudo com calma”. Isso não é sobre proposta, e a IA estava certa em dizer que não cabia ali. Com o nome “Atendimento do consultor de vendas”, o comentário passou a ser encontrado.

O mesmo aconteceu com “Atraso na entrega do carro novo”. Quem escreveu “entregaram um dia antes do prazo” está falando de prazo de entrega, mas não de atraso.

Ticket costuma nascer de um problema, então o nome do assunto descreve a reclamação. Já a pesquisa traz muito elogio. Com os nomes neutros, a parcela dos comentários de promotores (notas 9 e 10) que caiu no assunto certo subiu de 3 em cada 10 para 7 em cada 10.

O elogio é o que mais se perde

De cada 10 assuntos que o comentário citava, quantos o Perplexity Decider v1.1 encontrou.

Detratores · notas de 0 a 6

8,6 de 10 9,1 de 10

Neutros · notas 7 e 8

5,4 de 10 8,6 de 10

Promotores · notas 9 e 10

3 de 10 7,4 de 10

Nome tirado dos tickets Nome neutro

Para quem gerencia a experiência do cliente, a lição é prática: o elogio também é causa. Saber o que faz o cliente recomendar a empresa vale tanto quanto saber o que o faz reclamar. Se o nome do assunto só descreve o lado ruim, metade da história some do relatório.

A IA é confiante demais #

Quando um modelo diz “85% de certeza”, seria razoável esperar que ele acertasse 85 de cada 100 vezes. No teste, ele acertou uma vez em cada nove.

É como uma previsão do tempo que anuncia 85% de chance de chuva em dias que quase sempre ficam secos. O número existe, mas não significa o que parece. Só as respostas muito perto de 100% eram confiáveis o bastante para valer: 98% no Perplexity Decider v1.1, e até 99,9% no Microsoft Decision-1.

O que a IA disse e quanto ela acertou

Respostas agrupadas pela certeza que o Perplexity Decider v1.1 declarou. Numa IA honesta, as duas barras de cada linha teriam o mesmo tamanho.

disse 55% acertou 1%

disse 65% acertou 1%

disse 75% acertou 4%

disse 85% acertou 11%

disse 98% acertou 72%

Por isso, o ponto de corte, a partir do qual a resposta da IA é aceita, não pode ser escolhido no chute nem copiado de um modelo para outro. Ele precisa ser medido em dados com resposta conhecida, para cada modelo.

Os modelos ficaram mais perto do que parece #

Com os assuntos mal nomeados, os quatro modelos empataram, dentro da margem de erro do teste. Com os assuntos bem escritos, o Perplexity Decider v1.1 ficou alguns pontos à frente.

A diferença mais clara entre eles foi outra: reconhecer o comentário que não fala de nada. “Tudo perfeito, recomendo” é um ótimo sinal, mas não diz o que funcionou. Se esses comentários entram na conta como se tivessem assunto, todas as porcentagens do relatório ficam erradas. Os modelos variaram bastante nessa tarefa.

Também perguntamos a mesma coisa duas vezes a cada modelo. O Perplexity Decider v1.1 e o OpenAI Decisions deram exatamente a mesma resposta nas duas vezes. O TypeSafe Jev 1.13 e o Microsoft Decision-1 mudaram de ideia em um a cada vinte ou trinta comentários. Num relatório que vai para a diretoria, isso pesa.

O custo, por outro lado, quase não pesa: classificar dezenas de milhares de comentários por mês custa de poucos dólares a algumas dezenas, conforme o modelo.

O que levamos para o Echo #

Hoje o Echo importa as respostas de pesquisa e mostra os resultados de cada uma, mas o comentário ainda não recebe assunto. O teste existe para decidir como isso vai funcionar quando chegar, e algumas decisões já saíram dele:

• O texto do assunto é o que decide. Quem cria ou edita um assunto precisa saber que a descrição vai determinar quais comentários entram nele, e que ela deve cobrir o elogio e a crítica.
• Um comentário pode ter mais de um assunto. “O carro atrasou e ninguém avisou” fala de prazo e de comunicação, e conta nos dois.
• Comentário sem assunto fica de fora da conta. Ele não entra no cálculo de quantos clientes falam de cada causa.
• Mudar de modelo não reescreve o passado. Um relatório já emitido não muda porque a IA foi trocada.

Uma ressalva honesta: como todos os dados são sintéticos, os comentários são mais limpos e mais diretos do que os que um cliente real escreve. Esperamos números menores com dados reais. O que deve se manter é a ordem das coisas, com o texto do assunto pesando mais que a escolha do modelo, e é isso que vamos conferir com os primeiros clientes.

Se você quer entender por que contar assuntos funciona melhor do que confiar nas tags do atendimento, leia sobre motivos de contato. E, para a pesquisa em si, há o guia de NPS, CSAT e CES.