Les mots révélateurs qui pourraient identifier le texte généré par l’IA

Dans une nouvelle étude, des chercheurs ont mis en lumière les “mots en excès” qui ont commencé à apparaître plus fréquemment à l’ère post-LLM. Ces mots pourraient être des indicateurs clés de l’utilisation de l’IA générative.

Les chercheurs ont développé une méthode novatrice pour estimer l’utilisation des LLM (Large Language Models) dans un grand ensemble d’écrits scientifiques en mesurant quels “mots en excès” ont commencé à apparaître beaucoup plus fréquemment pendant l’ère LLM (c’est-à-dire 2023 et 2024). Les résultats suggèrent qu’au moins 10 % des résumés de 2024 ont été traités avec des LLM, selon les chercheurs.

Dans une étude récente, des chercheurs de l’Université de Tubingen en Allemagne et de l’Université Northwestern ont été inspirés par des études mesurant l’impact de la pandémie de COVID-19 par rapport au passé récent. En examinant de près l’évolution de l’utilisation des mots après l’introduction des outils d’écriture LLM, les chercheurs ont constaté une augmentation abrupte de la fréquence de certains mots de style, sans lien commun avec des événements mondiaux majeurs.

Pour mesurer ces changements de vocabulaire, les chercheurs ont analysé 14 millions de résumés d’articles publiés entre 2010 et 2024, en suivant la fréquence relative de chaque mot d’une année à l’autre. Ils ont identifié plusieurs mots qui étaient extrêmement rares dans les résumés scientifiques avant 2023, mais qui ont soudainement gagné en popularité après l’introduction des LLM.

Ces changements dans l’utilisation des mots pourraient se produire indépendamment de l’utilisation des LLM, mais les chercheurs ont constaté que, dans l’ère pré-LLM, de telles augmentations massives et soudaines n’étaient observées que pour des mots liés à des événements majeurs de santé mondiale.

En mettant en lumière des centaines de “mots marqueurs” devenus significativement plus courants à l’ère post-LLM, les chercheurs estiment que au moins 10 % des articles post-2022 dans le corpus PubMed ont été rédigés avec l’aide de LLM. La détection de l’utilisation des LLM est importante car ces modèles sont connus pour fournir des informations inexactes et des affirmations fausses qui semblent convaincantes.

Il est crucial de repérer ces mots marqueurs pour améliorer la qualité des textes générés par les LLM. À l’avenir, il se pourrait que les grands modèles de langage eux-mêmes ajustent la fréquence de ces mots pour mieux dissimuler leurs sorties et les rendre plus proches du langage humain. La détection de ces mots marqueurs pourrait devenir une compétence essentielle pour identifier le texte généré par l’IA dans notre environnement quotidien.

Source de l’article