Mesurer l’efficacité d’un chabot

KPI quantitatifs : votre chatbot est-il suffisamment utilisé et répond-il aux besoins des utilisateurs ?

Les indicateurs clés de performance quantitatifs permettent d’évaluer l’efficacité de votre chatbot et son utilisation par son audience.

1. Le volume d’activité du chatbot

Mesurer le volume d’activité consiste à évaluer le nombre d’interactions d’un chatbot, depuis la simple question posée par l’utilisateur jusqu’au dialogue constructif.

Cet indicateur permet de répondre à deux questions clés :

• Votre chatbot est-il beaucoup utilisé ?
• Le nombre d’utilisateurs est-il en augmentation ?

Le taux de rebond correspond au volume de sessions ouvertes par les internautes n’ayant pas donné lieu à une utilisation « métier » de votre chatbot. Un taux élevé indique que votre bot n’est pas sollicité pour des sujets relevant de sa compétence. Cela doit vous inciter à mettre à jour ses contenus et son placement dans le parcours client. C’est un indicateur à suivre de près !

3. Le taux de rétention

Le taux de rétention désigne la proportion d’utilisateurs qui ont recours à votre chatbot à plusieurs reprises au cours d’une période donnée. Cet indicateur est souvent lié à la fréquence des contacts client dans votre secteur d’activité. Il est un bon indicateur de la pertinence de votre chatbot et de son niveau d’acceptation par vos clients.

4. Le taux d’utilisation par ouverture

C’est le nombre de sessions actives simultanément sur votre chatbot. Pour obtenir une mesure cohérente, vous devez pondérer ce taux avec la moyenne des sessions ouvertes sur une période donnée.

5. Le volume de sessions rapporté à la population cible

Cet indicateur est essentiel pour valider l’atteinte de vos objectifs. Si vous visez une population précise, vous pouvez mesurer le taux de pénétration pour cette population donnée et ainsi valider que votre audience utilise suffisamment votre chatbot. Sinon, il faut absolument travailler la conduite du changement et le parcours client pour faire adhérer vos utilisateurs !

6. Le volume de réponses apportées par votre chatbot

Un indicateur très tangible qui vous renseigne au sujet du nombre de questions auxquelles votre chatbot a répondu.

7. La durée des conversations avec votre chatbot

Cet indicateur vous permet d’évaluer la durée moyenne des échanges entre les utilisateurs et votre chatbot. Celle-ci varie énormément d’un cas à l’autre : un chatbot qui fait de la résolution d’incidents informatiques ou un devis en ligne aura un dialogue beaucoup plus long qu’un chabot qui donne l’heure dans toutes les villes du monde ! Ce KPI vous permettra de quantifier, si c’est votre objectif, la durée d’appel que vous économisez à vos clients… et à vos équipes de service desk !

8. La répartition horaire des échanges dans la journée

À quels moments de la journée les utilisateurs sollicitent-ils le plus votre chatbot ? Cet indicateur est particulièrement intéressant, car il montre souvent que ce nouveau canal disponible 24/7 permet de couvrir 20, 30 voire 50 % de plages horaires qui étaient jusqu’alors « fermées » pour le support utilisateur.

9. Le nombre de questions posées durant une conversation

Plus un utilisateur pose de questions, plus il a besoin de temps pour obtenir les réponses adéquates. Cet indicateur vous permet de déterminer combien de questions il faut à votre chatbot pour apporter les informations nécessaires aux utilisateurs.

À noter : l’interprétation de cette métrique dépend fortement de vos objectifs.

10. Le taux d’interdiction

Si vous souhaitez mesurer l’engagement de vos utilisateurs dans le cadre des conversations avec votre chatbot, c’est sur cet indicateur que vous devez compter. Il vous permet de mesurer le nombre moyen de messages échangés par conversation.

11. Le taux de transformation

Le « goal completion rate » permet de mesurer le taux de réussite d’une action donnée, réalisée par le biais de votre chatbot.

Par exemple : cliquer sur un CTA, remplir un formulaire, procéder à l’achat, etc. Cet indicateur n’est toutefois utilisable qu’avec des actions clairement identifiées et la mise en place d’indicateurs personnalisés en lien avec les actions.

12. Le taux de non-réponse

Ce metric mesure le nombre de fois où votre chatbot a été pris en défaut par une question. Cela peut être la conséquence d’un manque de contenu ou d’une difficulté de compréhension de la part de votre bot.

13. Les questions les plus fréquentes

Quelles sont les demandes les plus fréquemment adressées à votre chatbot ? Grâce à cette statistique, vous allez pouvoir spécialiser votre bot sur les sujets les plus couramment abordés et, ainsi, augmenter sa performance. L’analyse des questions récurrentes permet d’orienter votre travail correctif, de vous focaliser sur les sujets qui intéressent le plus vos utilisateurs et les leviers permettant d’améliorer la qualité des réponses et sur le niveau de compréhension global.

Pour avoir du sens, ces KPI quantitatifs doivent également être comparés à d’autres données, notamment au nombre d’appels et aux résultats des autres canaux (volume de conversation par chatbot vs volume d’appels téléphoniques, taux de satisfaction comparés, etc.). Ces données vous permettent d’évaluer le positionnement de votre chatbot : est-il au bon endroit, avec les bonnes connaissances ? Cela vous permettra peut-être de définir si votre chatbot nécessite ou non d’évoluer vers un chatbot multicanal.

KPI qualitatifs : les utilisateurs du chatbot sont-ils satisfaits ?

Au-delà de la quantité, il y a la qualité. Les KPI qui suivent vous permettent de mesurer les performances « humaines » de votre chatbot : compréhension, aide apportée aux utilisateurs, satisfaction de ces derniers…

14. Le niveau de compréhension des utilisateurs

Votre chatbot va vous indiquer son niveau global de compréhension des requêtes de utilisateurs.

Ce niveau est en constante évolution car il dépend :

• de sa compréhension des questions qu’on lui pose…
• et de ses connaissances !

En effet, si votre chatbot ne comprend pas une demande… c’est soit parce qu’on lui pose une question sans aucune signification, soit car il ne connaît pas le domaine concerné par la question !
Par exemple, un chatbot spécialisé en support informatique ne comprendra rien à une question juridique… et vice versa !

15. Le taux de self-service

Ce taux correspond au nombre d’utilisateurs qui ont été aidés sans avoir besoin d’appeler le service client, simplement grâce aux réponses données par votre chatbot. Il est donc calculé en fonction du pourcentage des sessions qui ne se sont pas terminées par une action de contact téléphonique, après un échange avec votre bot. Il vous permet, au passage, d’évaluer le niveau de satisfaction. C’est l’équivalent du « first call resolution rate » ou FCR (le taux de problèmes résolus avec un seul appel) pour les centres d’appels.
Cet indicateur est très important pour l’analyse du retour sur investissement de votre projet chatbot.

16. Les feedbacks utilisateurs

Enfin, il est indispensable de savoir ce que vos utilisateurs pensent de votre chatbot. L’aide apportée a-t-elle été suffisante ? Les utilisateurs sont-ils satisfaits ?

Vous pouvez interroger les internautes de deux façons :

• en posant la question de leur satisfaction (réponse par « oui » ou par « non ») ;
• en proposant un questionnaire plus poussé pour obtenir des données précises (« les réponses étaient-elles claires ? », « avez-vous tout compris ? », « avez-vous des suggestions pour améliorer notre chatbot ? », etc.).

Ces feedbacks vous permettront d’avoir deux indicateurs :

• le taux de satisfaction (la note moyenne issue de l’évaluation de votre chatbot) ;
• le taux d’évaluation (le pourcentage des sessions d’utilisateurs qui ont évalué au moins une fois les réponses de votre bot).

Les KPI qualitatifs doivent être mesurés régulièrement et analysés sur le long terme. Cela vous permet de savoir comment le taux de satisfaction évolue, si les questions récurrentes sont toujours les mêmes…

Connaître ces 15 indicateurs clés est essentiel pour évaluer les performances de votre chatbot. Néanmoins, les bons indicateurs ne sont pas les mêmes pour toutes les entreprises, ni pour tous les chatbots : à vous de choisir les plus pertinents en fonction de votre domaine d’activité, de vos objectifs et des besoins de vos utilisateurs. Vous souhaitez être accompagnés pour savoir quels sont les KPI qui vous permettront de mesurer l’efficacité de votre chatbot ?

Discuter avec un expert Visiativ