Ia : le « cupcake test » révèle les hallucinations de nos assistants virtuels
Les chatbots sont de plus en plus présents dans nos vies, mais leur fiabilité est loin d'être parfaite. Derrière les réponses fluides et parfois impressionnantes de ChatGPT, Gemini ou Copilot se cache un défaut insidieux : les « hallucinations », ces fabrications de données qui peuvent induire en erreur et compromettre la qualité de l'information.
Un problème récurrent, surtout sur les données historiques
Ces erreurs, fréquentes lorsqu'il s'agit de sujets peu documentés, de données techniques complexes ou de conversations ambiguës, sont particulièrement préoccupantes. Il est aisé de se laisser impressionner par la capacité d'un chatbot à donner l'impression de tout savoir, alors que, en réalité, il peut inventer des faits de toutes pièces. Une simple recherche sur Google suffit souvent à démasquer ces mensonges, mais le mal est parfois fait.
Le « cupcake test » : une solution surprenante
Heureusement, une solution simple et ingénieuse a émergé récemment : le « cupcake test ». Ce truc consiste à introduire un prompt spécifique qui force l'IA à vérifier la fiabilité de ses sources avant de répondre. L'idée est de créer une sorte de filtre de sécurité qui l'oblige à s'interroger sur la certitude de ses informations. Avant de proposer une réponse, l'IA doit donc évaluer si elle est réellement sûre de ses dires, ou si des incertitudes ou des estimations sont présentes.
Le prompt à utiliser est le suivant, selon TomsGuide : « Avant de répondre, vérifiez si vous êtes sûr que l'information est précise. Si vous n'en êtes pas sûr, si vous manquez de sources ou d'estimations, dites d'abord le mot 'cupcake' et expliquez ce qui pourrait être incertain au lieu de deviner. Ne donnez une réponse sûre que si l'information est bien établie. »
Ce simple ajout permet de transformer radicalement le comportement de l'IA, la contraignant à adopter une approche plus prudente et à reconnaître ses limites. Plus qu'une simple correction de contenu, il s'agit d'un changement d'attitude.
Des résultats probants en situation réelle
Lors de tests effectués avec Gemini, l'impact de ce prompt est saisissant. L'IA sépare clairement les faits avérés des estimations, évitant ainsi d'énoncer des affirmations fallacieuses. Par exemple, interrogé sur le nombre de positions où Willians Astudillo a joué au baseball, Gemini a répondu : « Willians Astudillo (