Pangram sait-il vraiment détecter les textes IA ? Notre test sur pl…

D'après les informations rapportées par Next INpact : pangram sait-il vraiment détecter les textes IA ? Notre test sur plus de 1 000 articles.

On peut tromper 1 000 fois un détecteur, mais pas 1 000 détecteurs une fois
Après les tests sur les détecteurs à poids ouverts, passons à un modèle commercial qui fait beaucoup parler de lui : Pangram. Nous lui avons envoyé des centaines d’articles, soit rédigés à 100 % par des humains (depuis notre base de données), soit générés par des IA.

Quasiment 100 % de réussite sur les articles écrits par des humains

En tout, 460 articles humains ont pu être soumis au détecteur. Pangram en a détecté 450 comme totalement humains, 9 comme principalement humains mais avec quelques passages signalés comme étant GenAI et enfin un seul faux positif identifié comme étant surtout écrit par une IA.

On a soumis plus de 5 000 textes à 75 détecteurs d’IA gratuits : un constat d’échec

Dans les 460 textes, une trentaine de textes n’avaient jamais été publiés sur Internet, impossible donc pour Pangram d’en trouver la moindre trace (ce sont des brouillons finalisés de certains articles). Gardez en tête un élément important de notre analyse : elle repose sur un corpus d’articles techniques.

Bilan : 459 textes sur 460 sont bien étiquetés humains.

95 % de réussite sur notre corpus de textes GenAI

Sur les textes générés par IA nous avons multiplié les analyses. Nous avons utilisé 350 textes différents générés par IA, mais au total 570 articles ont pu être soumis au détecteur Pangram. Il y a parfois plusieurs variantes d’un même texte pour essayer de comprendre les mécanismes du détecteur. Nous y reviendrons.

Il reste 89% de l'article à découvrir.Vous devez être abonné•e pour lire la suite de cet article.Déjà abonné•e ? Générez une clé RSS dans votre profil.