ChatGPT Francais

Assistant de conversation intelligent gratuit avec ChatGPT

Le détecteur de ‘ChatGPT’ présente une précision inégalée dans l’identification des articles générés par l’IA.

chatgpt-OpenAI-chatgpt-francais.com

Selon une étude publiée le 6 novembre dans Cell Reports Physical Science, un outil d’apprentissage automatique peut facilement identifier les articles de chimie rédigés à l’aide du chatbot ChatGPT. Ce classificateur spécialisé surpasse deux détecteurs d’IA existants et pourrait aider les éditeurs académiques à détecter les articles générés par des générateurs de texte IA.

Alors que la plupart des efforts d’analyse de texte visent à créer un détecteur global applicable à n’importe quel contenu, Heather Desaire, co-auteure et chimiste à l’Université du Kansas à Lawrence, explique que leur objectif était l’exactitude en ciblant un type spécifique d’article.

Les résultats indiquent que l’adaptation des logiciels à des genres d’écriture spécifiques pourrait améliorer le développement des détecteurs d’IA. Desaire suggère que la création d’outils pour différents domaines devient relativement plus facile une fois qu’une base rapide et simple est établie.

The Elements of Style

Desaire et ses collègues ont initialement présenté leur détecteur ChatGPT en juin lorsqu’ils l’ont appliqué à des articles de Perspective du journal Science2. En utilisant l’apprentissage automatique, le détecteur évalue 20 caractéristiques de style d’écriture, telles que la variation de la longueur des phrases, la fréquence des mots et de la ponctuation, pour déterminer si un texte a été écrit par un scientifique universitaire ou par ChatGPT. Les résultats démontrent qu’un petit ensemble de caractéristiques peut fournir un haut niveau de précision, comme le souligne Desaire.

Dans leur étude la plus récente, le détecteur a été entraîné sur les sections introductives d’articles provenant de dix revues de chimie publiées par l’American Chemical Society (ACS). Le choix de l’introduction était délibéré, car cette partie d’un article est relativement plus facile à générer pour ChatGPT s’il a accès à la littérature de référence, selon Desaire. Les chercheurs ont utilisé 100 introductions publiées comme base pour former leur outil à imiter du texte rédigé par un humain. Ensuite, ils ont incité ChatGPT-3.5 à produire 200 introductions dans le style des revues ACS. Pour 100 d’entre elles, l’outil a reçu les titres des articles, tandis que pour les 100 autres, il a reçu leurs résumés.

Dans des tests comparant les introductions rédigées par des humains à celles générées par une IA à partir des mêmes journaux, l’outil a démontré une précision remarquable pour identifier les sections rédigées par ChatGPT-3.5 en se basant sur les titres, atteignant une précision parfaite de 100%. Pour les introductions générées par ChatGPT à partir des résumés, la précision était légèrement inférieure à 98%. L’outil a également bien fonctionné avec le texte produit par ChatGPT-4, la dernière version du chatbot.

En revanche, le détecteur d’IA ZeroGPT a montré un taux de précision nettement inférieur, allant d’environ 35% à 65%, selon la version de ChatGPT utilisée et que l’introduction ait été générée à partir du titre ou du résumé de l’article. L’outil de classification de texte d’OpenAI, conçu par les créateurs de ChatGPT, a également obtenu de mauvais résultats, avec une précision d’environ 10% à 55% pour détecter les introductions générées par une IA.

Il est à noter que le nouveau mécanisme de détection de ChatGPT a montré des performances impressionnantes même avec des introductions provenant de journaux sur lesquels il n’avait pas été entraîné. Il a réussi à identifier avec succès le texte généré par une IA à partir de diverses consignes, y compris celles destinées à tromper les détecteurs d’IA. Toutefois, il est important de souligner que le système est hautement spécialisé pour les articles de journaux scientifiques. Lorsqu’il a été confronté à des articles réels de journaux universitaires, il n’a pas réussi à les reconnaître comme étant rédigés par des humains.

Préoccupations plus larges

Selon Debora Weber-Wulff, informaticienne spécialisée dans le plagiat académique à l’Université des sciences appliquées HTW Berlin, le travail des auteurs est « vraiment fascinant ». Au lieu de se concentrer sur le style d’écriture, les outils existants se basent principalement sur les schémas de texte prédictifs de l’écriture générée par l’IA pour déterminer l’auteur. Weber-Wulff admet qu’elle n’avait jamais envisagé d’utiliser la stylométrie sur ChatGPT auparavant.

Cependant, Weber-Wulff souligne que l’utilisation de ChatGPT dans le milieu académique est également motivée par d’autres facteurs. De nombreux chercheurs sont sous pression pour produire rapidement des articles et peuvent ne pas considérer le processus d’écriture comme un aspect crucial du travail scientifique. Il est important de comprendre que les outils de détection de l’IA seuls ne peuvent pas résoudre ces problèmes sous-jacents, et ils ne doivent pas être considérés comme une « solution logicielle magique » à un problème social.

Le détecteur de ‘ChatGPT’ présente une précision inégalée dans l’identification des articles générés par l’IA.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Retour en haut