En pleine guerre contre l’Iran, au printemps dernier, un rapport des services de renseignement a indiqué à l’armée américaine qu’un navire chinois naviguant au Moyen-Orient transportait des éléments servant à un programme d’armement nucléaire, a rapporté la chaîne d’information américaine CNN dans un article publié le 18 septembre. Selon deux sources informées, l’armée américaine s’apprêtait à intercepter le vaisseau avant qu’un analyste du commandement des opérations spéciales ne se rende compte, la veille de l’opération, que le rapport avait été généré par l’intelligence artificielle (IA) et qu’un chatbot avait identifié de manière erronée la nature du chargement du navire, qui demeure d’ailleurs inconnu à ce jour. Mais le fait est que l’IA utilisée par l’armée américaine a fusionné des renseignements provenant de sources ouvertes avec des renseignements électromagnétiques secrets détenus par le gouvernement pour en déduire de manière erronée la nature du matériel transporté.
Une source citée par CNN a affirmé que le rapport était « totalement faux », ajoutant qu’il aurait « failli déclencher une guerre », dans la mesure où toute opération américaine contre un navire chinois aurait pu déclencher une escalade allant jusqu’au conflit armé entre les deux puissances. Autant dire que les États-Unis ont frôlé une catastrophe, et pas des moindres.
Les risques d’utilisation de l’IA en plein conflit
L’armée américaine déploie des efforts considérables pour intégrer l’IA dans la quasi-totalité de ses activités, de l’analyse des données de renseignement à la gestion budgétaire, en passant par la sélection des cibles sur le théâtre de guerre, la logistique et les chaînes d’approvisionnement. Cet incident avec le navire chinois souligne cependant les risques, qui peuvent engendrer des conséquences démesurées, d’une application massive d’une technologie, certes puissante, mais encore très mal maîtrisée pour les opérations sur le terrain. Le risque est bien réel pour les analystes, qui appréhendent les effets catastrophiques d’une utilisation d’une IA dont les analyses et décisions sont basées sur des données erronées ou corrompues.
Des IA « relookées » de logiciels commerciaux
Si l’on ignore toujours si le chatbot qui a généré le faux rapport est issu d’un produit commercial ou s’il a été développé par le gouvernement étasunien, un ancien haut responsable informé des systèmes d'IA utilisés par les analystes militaires et du renseignement, cité par CNN, a affirmé que « les outils internes ne sont pour la plupart que des copies relookées des logiciels commerciaux ».
Cette course à l’IA au sein de l’armée américaine est justifiée par sa rapidité dans la prise de décisions en matière de frappes et de déploiement militaire sur le champ de bataille. Des responsables américains estiment, par ailleurs, que les États-Unis ne peuvent se permettre de prendre du retard dans l'intégration de l'IA, au cas où ils devraient un jour affronter la Chine ou un autre adversaire capable de garder une longueur d'avance, rapporte CNN.
« L’IA permet d’arriver plus rapidement à une mauvaise idée »
Face aux avertissements qui fusent de la part d’ingénieurs et de PDG de la Silicon Valley concernant un possible affranchissement des systèmes d’IA des directives humaines, et aux alertes contre des scénarios du type Skynet (l’IA qui a causé l’apocalypse nucléaire dans le film de science-fiction Terminator), l’incident du navire chinois pointe un risque plus immédiat d’une décision humaine catastrophique, induite par des informations erronées d’une IA. Par la multiplication des utilisations de bots au sein des services de renseignement, et la confiance bien trop grande des jeunes analystes aux résultats générés par IA, ce genre d’erreurs est loin d’être un cas isolé, selon des sources américaines. De plus, la pression qui s’exerce sur les analystes au sein des services de renseignement pour produire plus rapidement leurs rapports, risque d’augmenter bien plus encore les risques d'erreurs. Cette situation a été définie, non sans ironie, par une source au sein des renseignements américains par la déclaration suivante : « L’IA permet d’arriver plus rapidement à une mauvaise idée. »