OpenAI possède depuis environ un an un système pour filigraner le texte créé par ChatGPT, ainsi qu’un outil pour détecter ce filigranage, selon un rapport du Wall Street Journal. Toutefois, la société est divisée en interne sur la question de sa mise en œuvre. D’un côté, cela semble être la chose responsable à faire, mais de l’autre, cela pourrait nuire à ses bénéfices.
Le filigranage, tel que décrit par OpenAI, ajuste la manière dont le modèle prédit les mots ou phrases les plus probables qui suivront les précédents, créant ainsi un motif détectable. Bien que cela soit une simplification, Google propose une explication plus approfondie sur son propre modèle, Gemini.
L’ajout de nouveaux filigranes pourrait être un atout potentiel pour les enseignants cherchant à dissuader les étudiants de faire leurs devoirs avec l’IA. Les tests ont montré que cela n’affectait pas la qualité de la sortie du chatbot. Une enquête commandée par OpenAI a révélé que « les gens dans le monde entier soutenaient l’idée d’une détection de l’IA avec une marge de quatre contre un. »
Après la publication de l’histoire, OpenAI a confirmé dans un billet de blog qu’il travaillait sur cette méthode. Selon TechCrunch, cette méthode est très précise (99,9 % d’efficacité selon les documents consultés) et résistante aux manipulations comme le remaniement ou le rewording, ce qui rend la « circonvention triviale » par des acteurs malveillants difficile.
Cependant, certains craignent que ce système ne stigmatise l’utilité des outils pour les locuteurs non natifs. Près de 30 % des utilisateurs de ChatGPT interrogés ont déclaré qu’ils utiliseraient le logiciel moins souvent si ce système était mis en place. Malgré ces préoccupations, certains employés d’OpenAI pensent que la sensibilisation des utilisateurs est importante, même si les méthodes proposées sont « potentiellement controversées et non prouvées. »
OpenAI explore également l’idée d’intégrer des métadonnées cryptographiquement signées pour identifier les textes générés par l’IA. Cependant, il est « trop tôt » pour savoir à quel point cette méthode fonctionnera bien, car cela ne garantirait pas de résultats positifs dans tous les cas.
Cette mise à jour du 4 août inclut des détails supplémentaires sur cette exploration continue et la réponse mitigée de la communauté à cette proposition, alors qu’OpenAI cherche à trouver un équilibre entre responsabilité et viabilité commerciale.
1 commentaire