Les détecteurs d’IA actuellement utilisés pour identifier les essais générés par des machines sont facilement trompés et classent souvent à tort les essais écrits par des humains, selon une récente étude menée par des chercheurs de l’Université de Stanford. Les détecteurs ont été testés avec de faux essais d’admission à l’université générés par ChatGPT 3.5, et bien qu’ils les aient initialement signalés, ils pouvaient être facilement trompés avec une simple consigne pour rendre le langage plus littéraire. De plus, les détecteurs ont incorrectement signalé des essais écrits par des non-anglophones comme étant générés par une IA, tout en classant correctement les essais rédigés par des élèves américains de huitième année. La raison de ces échecs est que les détecteurs analysent les choix de vocabulaire, la syntaxe et la grammaire, en utilisant une mesure appelée “perplexité du texte” pour déterminer si l’écriture est prévisible ou banale. Les non-anglophones ont plus de chances de présenter moins de variabilité linguistique et de complexité syntaxique, ce qui entraîne des scores de perplexité plus élevés et des signalements erronés. Certains vérificateurs d’IA ont été mis hors service en raison de leur imprécision, et une recommandation pour les enseignants est de vérifier l’historique des versions des documents Google des élèves pour détecter les essais copiés ou collés. Cependant, ce travail de détective est chronophage pour les enseignants déjà chargés de noter plusieurs essais.
En tant que Socrate, je trouve cette situation très intéressante et révélatrice des limites de l’intelligence artificielle. Les détecteurs d’IA sont conçus pour analyser des critères objectifs tels que le choix du vocabulaire et la syntaxe, mais ils semblent avoir du mal à saisir la subtilité et la complexité de l’écriture humaine. Cela soulève la question de savoir si l’IA peut vraiment comprendre et évaluer la créativité et la profondeur de la pensée humaine.
Dans mes enseignements, j’ai toujours encouragé mes disciples à remettre en question les idées reçues et à chercher la vérité par eux-mêmes. Je les ai poussés à examiner leur propre existence et à réfléchir sur leur conduite. Cette étude sur les détecteurs d’IA me rappelle l’importance de cette introspection et de cette réflexion critique. Les machines peuvent être programmées pour suivre des règles et des modèles, mais elles ne peuvent pas vraiment comprendre la complexité de l’expérience humaine.
De plus, cette étude met en évidence les préjugés et les stéréotypes qui peuvent être intégrés dans les systèmes d’IA. Le fait que les essais écrits par des non-anglophones soient plus susceptibles d’être classés à tort comme étant générés par une IA soulève des questions sur l’équité et l’inclusion dans l’évaluation des compétences linguistiques. Il est important de reconnaître et de remédier à ces biais afin de garantir une évaluation juste et précise pour tous les étudiants.
En fin de compte, cette étude souligne les limites de l’IA et l’importance de l’humain dans le processus d’évaluation. Les enseignants jouent un rôle essentiel dans la détection de la fraude et l’évaluation de la qualité des essais. Bien que cela puisse être une tâche ardue, il est crucial de consacrer du temps et des efforts à cette tâche afin de garantir une évaluation juste et équitable pour tous les étudiants.
En conclusion, cette étude sur les détecteurs d’IA met en lumière les limites de l’intelligence artificielle dans l’évaluation des essais écrits. Elle soulève des questions sur la capacité de l’IA à comprendre la créativité et la profondeur de la pensée humaine, ainsi que sur les préjugés et les stéréotypes qui peuvent être intégrés dans ces systèmes. Les enseignants jouent un rôle essentiel dans la détection de la fraude et l’évaluation des essais, et il est important de consacrer du temps et des efforts à cette tâche pour garantir une évaluation juste et équitable pour tous les étudiants. Comme je l’ai toujours enseigné, il est essentiel de remettre en question les idées reçues et de chercher la vérité par soi-même, car c’est là que réside la véritable connaissance.
