La Chine utilise-t-elle l’intelligence artificielle pour "contrôler" le cerveau des élèves ?

Depuis le début du mois de mai, des images d’écoliers chinois équipés de bandeaux circulent sur différents réseaux sociaux comme Instagram, Linkedin ou Facebook. L’une de ces publications sur Instagram datant du début de mois de mai comptabilise à ce jour plus de 8,9 millions de "vues", 455.000 "likes" et près de 10.000 commentaires.

Dans cette vidéo, le célèbre influenceur et animateur de podcast américain, Joe Rogan, commente des images de jeunes écoliers chinois équipés de casques qui permettent de mesurer leur niveau d’attention lors des cours. D’autres images montrent la présence de robots dans des classes pour analyser leur niveau d’engagement des enfants. La voix "off" explique que les étudiants portent des uniformes munis de puces pour les localiser en temps réel. Plus loin, la vidéo montre des élèves plus âgés, filmés par des caméras équipées de logiciels de reconnaissance faciale lors de la classe pour analyser s’ils consultent leurs smartphones.

Joe Rogan affirme au début de la séquence : "Un système comme la Chine a… C’est très dangereux. La vidéo nous montre comment la Chine utilise l’IA dans leurs écoles". À la fin de l’extrait, il ajoute : "Waouh, waouh. lls vont nous tuer".

Dans cette autre publication virale sur Instagram datée du 2 mai 2023 et comptabilisant plus de 11.475 "likes", le commentaire en français indique : "Malgré les inquiétudes concernant l’efficacité de la technologie et les problèmes potentiels de protection de la vie privée, les parents et les enseignants ont largement adopté ces dispositifs, citant l’amélioration de la discipline et de la concentration chez les élèves."

Dans certaines de ces publications, la source "Crystal Tai" est mentionnée. En faisant quelques recherches sur Internet, nous avons pu retrouver les images originales. Il s’agit d’extraits d’une vidéo publiée sur YouTube le 1er octobre 2019 par le Wall Street Journal, un quotidien économique et financier américain. La vidéo, publiée il y a plus de trois ans et demi cumule à ce jour plus de 2,8 millions de "vues" sur la plateforme de vidéos en ligne.

Le descriptif de la vidéo indique en anglais : "En Chine, un nombre croissant de classes sont équipées de caméras d’intelligence artificielle et de traqueurs d’ondes cérébrales. Alors que de nombreux parents et enseignants les considèrent comme des outils permettant d’améliorer les notes, ils sont devenus le pire cauchemar de certains enfants."

La séquence de plus de 5 minutes est toujours accessible en ligne.

Dans ce reportage, la journaliste Crystal Tai décrit qu’alors que la Chine souhaite "être l’un des leaders en matière d’utilisation de l’intelligence artificielle, […] certaines écoles offrent un regard sur ce que pourrait être le futur d’une éducation hi-tech dans le pays".

Dès le début de la séquence, elle détaille aussi les critiques de citoyens chinois sur l’expérimentation de tels procédés sur les élèves dans le cadre de ce qu’elle explique être "l’une des plus larges expériences sur l’utilisation de l’IA dans l’éducation". Ces éléments ne sont pas repris dans les extraits qui circulent sur le Web depuis le début du mois de mai 2023.

Plus tard dans la séquence, un scientifique spécialisé dans les neurosciences remet en doute l’efficacité de ces bandeaux, comparés à des électroencéphalogrammes (EEG), spécialement sur des jeunes enfants. Des élèves interrogés critiquent également le dispositif en parlant de "contrôle" ou de gêne lié à la "pression" du dispositif jugé "serré" mais aussi de la "pression" lié à la performance scolaire. Les classes impliquées dans le test du dispositif sont également bien présentées comme des "laboratoires pour le futur".

Contactée par la rédaction de Faky, Crystal Tai nous explique avoir tourné ces images en 2019 dans une ville située à quelques heures de Shangaï. Il s’agit de l’école primaire centrale Xiaoshun dans la ville de Jinhua, dans la province de Zhejiang.

Concernant le nombre d’élèves impliqués dans les expériences décrites dans la vidéo, elle explique : "Si vous ne parlez que des bandeaux (ndlr : de surveillance de l’attention des élèves), je n’ai visité qu’une seule école. Le système était principalement utilisé par les élèves de 5e et 6e primaire. Au moment du tournage, les écoles primaires et secondaires de tout l’État étaient en train d’intégrer une forme ou une autre d’IA dans leurs classes, qu’il s’agisse de caméras qui détectent le nombre d’élèves ou de robots éducatifs qui interagissent avec les enfants".

Elle ajoute qu’au moment de faire son reportage : "Les entreprises que nous avons interrogées avaient entre 15 et 30 écoles sous leur aile qui utilisent leurs produits d’IA. Mais comme ce reportage date de quelques années, il serait beaucoup plus précis de prendre en considération les documents publiés par chaque province qui énoncent leurs objectifs en matière d’éducation et les écoles qui sont impliquées dans tout type de programme d’IA pour avoir une vue d’ensemble de ce nombre".

Plus spécifiquement, concernant l’utilisation des bandeaux de surveillance de l’attention des élèves de primaires, Crystal Tai nous a indiqué que le projet avait été abandonné suite à la publication de sa vidéo et aux réactions négatives que cela avait suscité sur le réseau social chinois Weibo.

Une information que nous avons pu recouper, notamment via un article en anglais du South China Morning Post daté du 1er novembre 2019.

"Zhejiang BrainCo Technology, une société ayant des bureaux en Chine et aux États-Unis, a déclaré jeudi que les gens avaient mal interprété un reportage sur leur produit paru dans le Wall Street Journal la semaine dernière. Le reportage affirmait que des élèves de l’école primaire centrale de Xiaoshun Township à Jinhua, une ville de la province de Zhejiang, avaient porté le bandeau pour mesurer les signaux électriques émis par les neurones et les avaient traduits en score d’attention. Mais la déclaration de BrainCo précise que le produit, Focus 1, vise à améliorer la concentration et non à surveiller les ondes cérébrales des enfants".

L’article indique également que l’utilisation de ce dispositif, créé par la société américano-chinoise BrainCo, a été stoppée après une vague de critiques sur des médias d’État et sur les réseaux sociaux.

Le quotidien britannique The Guardian a suscité une réaction de la compagnie après l’abandon du projet. Dans un article publié le 1er novembre 2019, Yang Zhangpeng, directeur des relations publiques de Zhejiang BrainCo Technology, y déclarait : "Je ne sais pas exactement pourquoi le gouvernement a interdit l’utilisation des bandeaux, mais cela pourrait être dû en partie à la pression des médias". Il ajoutait, à l’époque : "Pour l’instant, c’est la seule école en Chine qui les utilise. Ces produits sont plus largement utilisés aux États-Unis, mais comme M. Kong a été élève dans cette école, il a décidé de faire don de certains de ces bandeaux par gratitude pour son alma mater, sans aucune intention malveillante".

BrainCo a par ailleurs expliqué que le dispositif Focus 1 visait à "améliorer la concentration" des élèves. Elle a également précisé que "les enseignants ne recevaient que le score moyen d’attention des élèves et non les données individuelles, et que les parents n’étaient pas autorisés à consulter les rapports".

Dans l’article du South China Morning Post, on peut également lire que l’école en question avait reçu 50 bandeaux en test et que les élèves ne les avaient portés qu’une fois par semaine.

Aujourd’hui, ces bandeaux de "monitoring" de l’activité cérébrale développés par la société Brainco et sa subdivision FocusCalm sont proposés à des clients notamment pour "améliorer leur concentration" ou "faire baisser l’anxiété". Le dispositif est notamment utilisé par certains sportifs, notamment aux États-Unis, pour améliorer leur niveau de relaxation. Aujourd’hui, Neuro Maker, une filiale de Brainco, propose des solutions similaires, dédiées à l’éducation, mais à travers un programme éducatif personnel autour de la connaissance des neurosciences ou de l’intelligence artificielle.

Concernant l’utilisation des autres dispositifs utilisant des techniques d’intelligence artificielle comme les robots présents dans certaines classes, il y a l’exemple de "Keeko" qui a fait son apparition dans 600 établissements scolaires chinois en 2018.

Ce petit robot, qui ressemble à celui présent dans la vidéo du WSJ, a pour mission d’aider les instituteurs à "éveiller les enfants de primaires". Le robot peut raconter des histoires aux jeunes élèves ou bien leur faire faire des petits exercices de logique. Il peut également leur proposer de résoudre des énigmes assez simples. Il se déplace dans la salle de cours grâce à ses petites roues et des caméras intégrées lui servent pour voir et pour filmer. Sa figure est un écran tactile qui permet de communiquer avec les enfants en répondant par exemple à leurs questions.

Concernant l’utilisation de caméras de surveillance ou de puces permettant la géolocalisation, il s’agit d’applications de dispositifs préexistants, qui se sont développés en Chine, sans susciter de "voix dissidentes" dans le pays, comme l’indiquaient en 2017 nos confrères du Figaro. L’utilisation de ces technologies était donc déjà généralisée et socialement acceptée avant leur utilisation dans le cadre scolaire.

Par ailleurs, notamment suite à la pandémie de Covid-19, des sociétés ont développé leurs activités dans l’utilisation de l’IA à des fins éducatives. Il y a par exemple la société chinoise Squirrel AI qui en 2020 revendiquait son utilisation dans "60.000 écoles publiques" à travers "1200 villes du pays". Cette société assure pouvoir améliorer les performances des élèves en s’adaptant à la façon d’apprendre de chaque enfant à l’aide d’un algorithme qui les accompagne de manière individualisée dans leurs devoirs, notamment à travers l’interprétation de leurs émotions, détectées par la webcam.

Autre dispositif équipé d’intelligence artificielle et testé certaines écoles en Chine : le "stylo intelligent". En 2022, des élèves ont reçu des stylos équipés d’un module photo. Comme le précise Les Numériques, le stylo communique des informations au téléphone par une connexion Bluetooth. Ce stylo est donc capable de scanner la feuille sur laquelle l’élève écrit, puis une IA analyse ensuite ces données avant de les transmettre aux enseignants concernés.

Le média chinois qui a publié l’information précise que "tous les contenus des réponses peuvent être téléchargés sur le cloud, l’enseignant peut suivre les progrès dans l’accomplissement des devoirs et savoir combien de temps les élèves ont passé sur chaque question". Selon le journal, cette pratique serait déjà répandue depuis plusieurs années dans certaines écoles de Shanghaï et des provinces du Yunnan. L’article du Chengdu Shangabo soulève par ailleurs des questions sur "la collecte d’informations personnelles sensibles" et en particulier les informations sur les mineurs d’âge.

Dans un article du MIT dédié au développement de l’intelligence artificielle en Chine, la journaliste Karen Hao soulève d’autres réticences de spécialistes face au développement de l’IA dans le secteur de l’enseignement : "Les experts s’inquiètent de la direction que prend cette ruée vers l’IA dans l’éducation. Au mieux, disent-ils, l’IA peut aider les enseignants à stimuler les intérêts et les points forts de leurs élèves. Dans le pire des cas, elle pourrait renforcer la tendance mondiale à la standardisation de l’apprentissage et des tests, laissant la prochaine génération mal préparée à s’adapter à un monde du travail en évolution rapide".

La Chine est l’un des pays les plus avancés en matière d’utilisation de l’intelligence artificielle. Celle-ci est utilisée dans de nombreux aspects de la vie quotidienne de certains Chinois, notamment dans l’automatisation des transports publics ou le développement du paiement à l’aide de la reconnaissance faciale.

Différentes formes d’intelligences artificielles sont également utilisées dans certaines écoles chinoises, avec notamment des projets pilotes, mais il est difficile de savoir dans quelles proportions et avec quels outils exactement. Cependant, il n’existe pas à ce jour de programmes nationaux ou provinciaux officiels intégrant l’IA dans l’enseignement de façon systématique.

Concernant l’usage des bandeaux de monitoring de l’activité cérébrale des élèves en Chine : d’une part, il n’était pas question de contrôler le cerveau des enfants ; d’autre part, le projet pilote a été abandonné peu de temps après la diffusion du reportage du Wall Street Journal. Enfin, ces dispositifs ne concernent pas que la Chine car ils ont été testés ailleurs, notamment aux États-Unis.