Un assistant de support doit répondre correctement aux visiteurs de votre site, y compris lorsqu’une information manque. Les limites décrites par Hostinger dans ses usages de l’IA motivent ce guide : construisez un petit jeu de tests avant d’ouvrir votre assistant au public.
1. Écrire les réponses attendues avant le test
Sélectionnez des questions représentatives de votre activité à partir de demandes réelles, après retrait des données personnelles. Ajoutez des questions courtes, des formulations familières et des erreurs de frappe. Pour chaque cas, retrouvez la page ou la procédure qui permet de répondre.
Écrivez vous-même les éléments indispensables de la réponse attendue. Ne demandez pas au modèle évalué de fabriquer sa propre référence : vous risqueriez de mesurer sa cohérence avec lui-même. Datez les informations et notez celles qui nécessitent une vérification dans un outil métier.
Incluez des situations où une réponse immédiate serait incorrecte : produit non précisé, demande sans numéro de dossier ou question hors du périmètre documentaire. Dans ces cas, définissez la clarification ou l’orientation attendue. Une bonne réponse peut consister à reconnaître une information manquante.
2. Exécuter un protocole reproductible
Testez la même configuration avec les mêmes documents. Notez la version du modèle lorsqu’elle est disponible, les instructions et la date du corpus. Démarrez une nouvelle conversation pour les cas indépendants ; créez aussi quelques séquences de plusieurs messages pour vérifier le suivi du contexte.
Voici une grille à adapter à vos propres pages :
| Cas | Comportement attendu |
|---|---|
| Question documentée | Réponse fidèle et source pertinente |
| Produit ambigu | Question de clarification |
| Information absente | Limite annoncée, sans invention |
| Demande personnelle | Orientation vers le canal prévu |
Enregistrez la réponse complète et le résultat de chaque contrôle. Répétez les cas sensibles : un succès isolé ne décrit pas tous les comportements possibles. Faites évaluer séparément les réponses françaises et anglaises si votre site propose les deux langues.
3. Définir le seuil de mise en service
Distinguez les erreurs de forme des erreurs de fond. Une réponse trop longue n’a pas la même conséquence qu’une procédure inventée. Fixez vos propres critères de lancement avant de regarder les résultats, avec une règle explicite pour les erreurs que vous jugez bloquantes.
Attribuez chaque échec à une catégorie utile : document manquant, mauvais document retrouvé, réponse infidèle ou interaction mal orientée. Corrigez une cause, puis rejouez les cas concernés et ceux qui fonctionnaient déjà. Gardez un ensemble de questions réservé à la vérification finale.
Conservez ce jeu de tests après le lancement. Rejouez-le lorsque vous changez le modèle, les consignes ou les documents. Ajoutez les échecs rencontrés par les visiteurs sous une forme expurgée. Vous obtenez ainsi un contrôle concret de votre service, plutôt qu’une impression fondée sur quelques conversations réussies.
Sources : Hostinger