Définissez les questions autorisées et l’action attendue.
Choisissez une équipe et une tâche : retrouver une politique interne, préparer un diagnostic support ou comparer une demande à une procédure. Collectez les questions réellement posées et les décisions prises ensuite. Cela fournit un jeu d’évaluation avant le développement.
Précisez ce que l’assistant ne fait pas : conseil juridique, modification d’un compte, validation d’un remboursement ou envoi automatique au client. Une limite visible réduit les usages dangereux et facilite le passage à un humain.
La réponse doit pointer vers le document qui la justifie.
Inventoriez les sources, leurs propriétaires, leur date et leur niveau de confidentialité. Supprimez les doublons et les versions obsolètes. Un assistant qui consulte trois procédures contradictoires ne peut pas résoudre un problème de gouvernance documentaire.
Les citations doivent ouvrir le bon passage et respecter les droits de l’utilisateur. Une personne ne doit jamais découvrir via l’assistant un document auquel elle n’a pas accès dans le système source. Les mises à jour, suppressions et changements de permission doivent être répercutés.
Testez exactitude, utilité et comportement en dehors du périmètre.
Préparez des questions simples, ambiguës, contradictoires et interdites. Pour chacune, définissez la réponse attendue, les sources acceptables et le besoin éventuel d’escalade. Mesurez la qualité par type de tâche, pas avec une note unique.
Ajoutez des tests après chaque changement de modèle, de consigne ou de corpus. Examinez les erreurs graves séparément des formulations perfectibles. Le taux de réponse ne doit pas augmenter au prix de réponses plus affirmatives et moins vérifiables.
La personne qui valide doit disposer du contexte et du pouvoir de corriger.
Affichez la proposition, les sources, les limites et les champs extraits dans une interface de revue. Enregistrez la validation, la correction et le motif. Une supervision utile ne consiste pas à cliquer « approuver » sur une réponse déjà envoyée.
Commencez en lecture seule, avec un petit groupe. Ajoutez des actions seulement lorsqu’elles sont réversibles, autorisées et journalisées. L’article workflow ou IA aide à séparer règles et génération ; celui sur les documents et e-mails montre comment appliquer cette supervision à un flux opérationnel.
- Utilisateurs, questions et décisions couvertes.
- Sources, propriétaires, versions et permissions.
- Jeu d’évaluation avec cas interdits et ambigus.
- Escalade, validation et possibilité de correction.
- Journalisation, conservation et revue périodique.