L’IA de Doctrine.fr a « halluciné » une décision de la CEDH qui dis…

D'après les informations rapportées par Next INpact : l’IA de Doctrine.fr a « halluciné » une décision de la CEDH qui disait tout le contraire.

Dur(AI)ex, sed lex
Une contributrice de Wikipédia a découvert que l’IA de Doctrine.fr avait « halluciné » que la Cour européenne des droits de l’homme avait « rejeté » la requête d’un plaidant. Or, la CEDH l’avait non seulement acceptée, mais la France avait en outre été condamnée à lui verser des indemnités. Doctrine.fr, qui vient d’entrer en négociations pour un rachat par le géant britannique RELX, nous répond que « d’après nos benchmarks, les hallucinations sont résiduelles ».

Sur son site, Doctrine.fr se présente comme « La 1re plateforme d’IA juridique », qui « soulage les avocats et juristes des tâches répétitives et chronophages d’analyse du dossier, recherche juridique et rédaction pour qu’ils sécurisent leur positions juridiques et gagnent en productivité » :

« Notre IA a pu être spécialement entraînée sur de l’information juridique à reproduire le raisonnement d’un juriste. Nos chatbots citent systématiquement leurs sources, des références juridiques à forte valeur ajoutée. Nos outils de productivité ont pu être pensés pour coller au plus près des besoins des professionnels. Nous ne laissons rien au hasard. »

En mars 2025, Doctrine rajoutait une « synthèse claire et visuelle », générée par IA, sur des millions de pages de décisions, résumant les arguments invoqués par les parties, s’ils avaient été acceptés ou rejetés, et pour quels motifs. Ces synthèses précisent que « Le contenu a pu être généré à l’aide de l’intelligence artificielle. Pensez à vérifier son exactitude. », tout en proposant un lien pour « Signaler une erreur dans le résumé ».

Capture d’écran des synthèses de décisions générées par IA sur Doctrine.fr

La semaine passée, Pa2chant.bis, une contributrice de Wikipédia, s’étonnait, sur le Bistro de l’encyclopédie, de découvrir que la « synthèse claire et visuelle » d’une décision de la CEDH sur Doctrine.fr indiquait que le recours d’un plaignant avait été « rejeté » au motif que « le requérant avait eu l’opportunité de se défendre sur les faits qui lui étaient reprochés ».

« Soit exactement le contraire » de ce qu’indiquait l’article Wikipédia consacré au plaignant, l’homme d’affaires franco-suisse Alain Duménil, qui mentionnait pourtant précisément Doctrine.fr comme source, déplore Pa2chant.bis :

« Cet argument, signalé comme étant à contrôler car généré par IA, ne figure pas dans le texte d’origine. Il est juste développé dans un encart mentionnant qu’il a pu être « résumé par IA ». J’ai cru un instant à un détournement de sources. Or quand on va chercher la source primaire contenant ce jugement, on voit que c’est l’IA qui a inventé la conclusion, en donnant le contraire exact de la décision. »

La requête du plaignant, introduite en 2013, avait non seulement bien été communiquée à la CEDH en 2019, mais cette dernière avait également condamné la France à lui verser 15 000 € « pour frais et dépens ».

« Cela me semble d’autant plus rédhibitoire pour un site juridique qu’il faut un temps fou pour retrouver, ailleurs, la décision, le site doctrine promettant un accès au pdf d’origine en échange d’un abonnement gratuit mais demandant finalement en plus la communication de son numéro de téléphone », déplore Pa2chant.bis : « Bref, je pense qu’on devrait dorénavant se passer des services de ce site. Qu’en pensez-vous ? ».

« L’IA sert à gagner du temps, pas à remplacer la réflexion humaine »

« Aucune intelligence, humaine ou artificielle, n’est infaillible, ce pourquoi nous précisons clairement sur chaque contenu généré par IA que cela a été le cas, et que nous invitons les utilisateurs à en vérifier l’exactitude », lui a répondu Hugo Ruggieri, qui précise sur son profil Wikipédia qu’il est directeur juridique et affaires publiques de Doctrine :

Il reste 62% de l'article à découvrir.Vous devez être abonné•e pour lire la suite de cet article.Déjà abonné•e ? Générez une clé RSS dans votre profil.