Aller au contenu
Cercle IA · Outils Un site du réseau Cercle IA

Guide

Tester un outil d'IA avant de l'acheter : la méthode

Comment tester un outil d'IA en quelques semaines : jeu d'essai, testeurs, critères notés, réglages de données à vérifier pendant l'essai.

Mis à jour le

Pour tester un outil d'intelligence artificielle (IA) avant de l'acheter, faites-le travailler sur votre tâche réelle, avec un jeu représentatif dont le partage est maîtrisé, par les personnes qui l'utiliseront, et notez les résultats sur une grille fixée à l'avance. Deux ou trois outils comparés sur le même jeu d'essai valent mieux qu'une démonstration commerciale. La CNIL (Commission nationale de l'informatique et des libertés) le rappelle dans sa fiche pour les très petites, petites et moyennes entreprises (TPE et PME) : savoir ce que vous recherchez permet « d'évaluer les premiers résultats et réorienter éventuellement vos critères ».

Étape 1 : préparer le jeu d'essai

Pour ce protocole proposé, préparez une dizaine d'exemples fictifs représentatifs : demandes de devis, comptes rendus et documents à résumer. Reproduisez la structure de la tâche, sans reprendre une correspondance reçue. Si vous partez de données réelles, masquer les noms ne garantit pas l'anonymat : les détails du dossier peuvent encore identifier la personne. Faites valider le jeu avant son envoi. La CNIL conseille, pour les données sensibles, de ne pas les introduire dans les consignes données à l'outil, ou de les anonymiser.

Pour chaque exemple, écrivez ce qu'aurait été une bonne réponse. C'est votre étalon.

Étape 2 : choisir les testeurs

Prenez une ou deux personnes qui font la tâche chaque semaine, dont au moins une moins à l'aise avec l'informatique. La CNIL invite à se demander quel est le niveau de compétence des futurs utilisateurs, s'ils sont enthousiastes ou résistants, et s'ils ont des craintes pour leur travail. L'essai est le bon moment pour le découvrir.

Faire décrire le résultat par les testeurs

Avant de montrer la sortie de l'outil, demandez à chaque testeur quelles informations doivent absolument être conservées. Comparez ensuite leurs attentes. Un désaccord sur la réponse attendue doit être résolu avant d'attribuer une erreur au produit. Gardez les cas litigieux dans une catégorie distincte.

Un audit des besoins, outils et données peut aider à définir le périmètre à examiner. Pour un échange entre pairs, préparez le protocole et ses limites, sans généraliser une note obtenue sur quelques exemples.

Étape 3 : noter avec une grille fixe

Critère Comment le mesurer Note de 0 à 2
Justesse Les réponses sont-elles exactes ? Y a-t-il des inventions ?
Utilité Combien de retouches avant d'envoyer ?
Temps Temps passé avec l'outil, comparé au temps habituel
Prise en main Les testeurs s'en servent-ils sans aide au bout d'une semaine ?
Données Les réglages de confidentialité sont-ils clairs et activables ?
Intégration L'outil s'insère-t-il dans vos logiciels sans copier-coller ?

Sur la justesse, soyez exigeant : la CNIL souligne que l'IA générative peut produire des résultats qui nécessitent une révision humaine. Le lexique de Cercle IA explique ce qu'est une hallucination, c'est-à-dire une réponse fausse présentée avec assurance.

Étape 4 : vérifier les réglages de données pendant l'essai

Profitez de l'essai pour ouvrir les paramètres et lire la documentation, et pas seulement pour tester les réponses :

  • Entraînement : quelle réutilisation des échanges prévoit la formule testée ? Le réglage est-il individuel ou administré pour toute l'équipe ? Gardez une trace de la réponse et de la configuration effective.
  • Conservation : combien de temps les échanges sont-ils gardés ?
  • Comptes : l'administrateur peut-il créer et fermer des comptes ?

La CNIL recommande de désactiver la réutilisation des données quand c'est possible.

Étape 5 : connaître les conditions d'essai

Avant d'activer un essai, relevez les conditions de l'offre exacte : durée, carte bancaire demandée, renouvellement, engagement, nombre minimal d'utilisateurs et procédure d'arrêt. Distinguez un compte gratuit durable, une période gratuite sur une offre payante et une possibilité de remboursement après achat.

Vérifiez aussi si les fonctions essayées seront disponibles dans la formule budgétée. Une démonstration avec un administrateur et des connecteurs déjà réglés n'évalue pas le travail que votre équipe devra réaliser. Réservez une partie du test à l'installation et à la suppression du compte d'un utilisateur fictif.

Étape 6 : décider

Fixez une date de décision, par exemple après deux semaines de travail représentatif. Examinez d'abord les défauts éliminatoires définis avant l'essai, puis les résultats de chaque tâche. Une moyenne peut masquer un échec critique. La préférence des utilisateurs compte, mais ne remplace ni la vérification des réponses ni celle des accès.

La CNIL conseille aussi de continuer à mesurer après le choix : gains de temps, productivité, qualité du travail et bien-être. L'essai n'est que la première mesure.

Pour la suite, voyez comment choisir un outil d'IA et, avant de signer, la réversibilité.

Garder quelques exemples pour la dernière séance

Ne réglez pas toutes les consignes sur le jeu qui servira à conclure. Mettez quelques exemples de côté, dont un document incomplet et deux versions contradictoires. À la dernière séance, observez si l'outil demande une précision, distingue les versions ou invente une réponse. Notez le défaut exact et la correction nécessaire.

Dans un assistant documentaire tel qu'ALMA, testez aussi une question dont la réponse n'est pas dans les documents fournis. Un refus explicite ou une demande de complément peut être préférable à un texte convaincant sans preuve. Le principe de recherche dans les documents aide à comprendre ce contrôle, sans garantir l'absence d'erreurs.

Faire relire les conclusions par une autre personne

Avant la réunion de décision, confiez les sorties anonymes des candidats à un collègue qui n'a pas assisté aux démonstrations. Donnez-lui la tâche, les documents fictifs et les critères attendus, sans lui montrer les premières notes. Cette proposition vise à faire apparaître les différences d'appréciation ; elle ne transforme pas l'essai en étude scientifique.

Exemple fictif : une réponse à une demande de devis comporte toutes les pièces demandées, mais ajoute un délai que le document initial ne prévoit pas. Une personne peut l'avoir jugée utile parce qu'elle est bien rédigée, une autre l'avoir refusée à cause de cet engagement. Discutez d'abord du passage précis et de sa conséquence. Si le critère était ambigu, corrigez la grille et réexaminez les autres réponses concernées.

Présentez ensuite trois éléments au cercle : ce que vous avez testé, ce qui a réellement été observé et ce que l'essai ne permet pas de conclure. Le journal d'essai pour transmettre le travail aide à conserver les pièces de cette discussion. Vous pouvez proposer une revue de votre protocole avec un exemple entièrement fictif.

Questions fréquentes

Combien d'outils d'IA tester en même temps ?

Notre proposition est de comparer deux ou trois candidats sur la même tâche et les mêmes exemples. Au-delà, la comparaison devient difficile à mener dans une petite équipe.

Peut-on tester un outil d'IA avec de vraies données clients ?

Commencez avec des exemples fictifs représentatifs. Des données réelles nécessitent une validation de leur partage et des garanties adaptées au traitement ; le caractère payant d'une offre ne suffit pas.

Sources

Pages consultées pour écrire cet article :

  1. https://iarche.fr/services/audit
  2. https://www.cnil.fr/sites/cnil/files/2025-03/tpe_pme_ficheia_3_les_solutions_d_ia_0.pdf
  3. https://www.cnil.fr/sites/cnil/files/2025-03/tpe_pme_ficheia_4_les_precautions_0.pdf
  4. https://www.cnil.fr/fr/les-questions-reponses-de-la-cnil-sur-lutilisation-dun-systeme-dia-generative

À lire aussi

Pour passer à la pratique

Pour poursuivre : Partez du métier, gardez la main.