Nous assistons à l’émergence de nouveaux assemblages entre humains et machines dont les interactions vont créer des problèmes de cybersécurité inédits.

Les Canadiens ont le privilège de vivre dans l’une des sociétés les plus démocratiques et ouvertes de la planète, ce qui influence inévitablement leur vision du monde. Ainsi, les percées majeures accomplies par les chercheurs de Toronto, Montréal et Edmonton dans le domaine de de l’intelligence artificielle (IA) et de l’apprentissage profond ces dix dernières années sont-elles analysées par les décideurs publics essentiellement à travers le prisme de leur contribution potentielle à la prospérité économique du pays.

Pourtant, le tsunami technologique de l’IA ne se limitera pas à la sphère économique, mais déstabilisera également les équilibres politiques, stratégiques ou même religieux actuels. Ce potentiel géostratégique a été formulé dans un style on ne peut plus direct par Vladimir Poutine, lorsqu’il déclara en septembre 2017 que « le pays qui deviendra leader en intelligence artificielle dominera le monde ». Dressant le même constat que la Russie, le gouvernement chinois s’est lancé dans un ambitieux programme d’investissements publics d’environ 150 milliards de dollars afin de devenir le leader mondial de l’IA d’ici 2030.

Face à un tel bouleversement, la cybersécurité commence à s’affirmer comme un enjeu central du développement de l’IA sous deux angles principaux : d’abord en garantissant l’intégrité des outils et des applications qui reposent sur l’IA, puis en contribuant à la protection des infrastructures numériques contre des cyberattaques de plus en plus sophistiquées. Loin de se limiter à des usages exclusivement défensifs, l’IA aidera également à redéfinir la nature des risques numériques en offrant aux acteurs malveillants des outils d’attaque d’une puissance inégalée.

Concrètement, nous sommes en train d’assister à l’émergence de nouveaux assemblages hybrides entre humains et machines dont les interactions vont créer des problèmes de cybersécurité inédits. Trois configurations sont au cœur de cette évolution : des humains qui vont tenter d’empoisonner des IA, des IA qui vont être utilisées pour manipuler des humains, et des IA qui vont s’attaquer réciproquement en dehors de tout contrôle humain.

Pour ce qui est de la première configuration, il faut noter que la puissance des IA n’a d’égale que leur fragilité lorsqu’elles sont confrontées à des conditions adverses. Les recherches menées depuis une dizaine d’années dans le domaine de « l’apprentissage machine antagoniste » démontrent à quel point les algorithmes utilisés sont vulnérables aux manipulations et peuvent altérer, voire compromettre, le fonctionnement du système dans son ensemble. Il ne s’agit pas ici d’un biais inhérent à des données mal sélectionnées ou non représentatives causé par un manque de rigueur méthodologique, mais d’un effort délibéré d’induire la machine en erreur.

L’exemple le plus fréquemment cité est celui de Tay, une IA conversationnelle développée par Microsoft et mise en ligne sur Twitter en mars 2016. En moins de 24 heures, les efforts coordonnés de nombreux utilisateurs désirant saboter le processus d’apprentissage de Tay la poussèrent à proférer des propos racistes et misogynes. Cette instabilité des IA en contexte hostile est particulièrement problématique dans le domaine de la cybersécurité, où des attaquants pourraient ainsi exploiter cette faiblesse structurelle afin d’empoisonner un algorithme responsable de la détection de logiciels malveillants ou de la protection d’infrastructures critiques, ce qui aurait pour conséquence de neutraliser de manière imperceptible ses capacités défensives.

La puissance des IA n’a d’égale que leur fragilité lorsqu’elles sont confrontées à des conditions adverses.

À cette première configuration où les machines sont manipulées par des humains répond une deuxième configuration où les algorithmes manipulent les humains et les induisent parfois délibérément en erreur. L’IA est destinée à renforcer les dispositifs de surveillance de masse dans de nombreux pays, qu’ils soient autoritaires ou démocratiques, ce qui contribuera à modifier les comportements des individus. La Chine, par exemple, compte propulser un « système de crédit social » au cours des prochaines années afin de noter les citoyens et réserver l’accès aux services sociaux et commerciaux les plus recherchés à ceux jugés dignes de confiance par le régime. Les élections présidentielles américaines de 2016 ont également mis en lumière le rôle déterminant joué par les médias sociaux comme vecteurs privilégiés de propagande politique.

Si les campagnes de désinformation menées par des intérêts russes ont été coordonnées manuellement et ont fait l’objet d’analyses assez approfondies, les nouvelles méthodes de marketing politique mises en œuvre par l’entreprise Cambridge Analytica pour le compte de clients républicains ont quant à elles mobilisé des techniques beaucoup plus sophistiquées de persuasion automatisée. En combinant des modèles psychométriques avancés, des informations personnelles de millions d’électeurs et l’analyse de leurs préférences en ligne (les fameux « j’aime » de Facebook), les algorithmes développés par cette entreprise lui permettent de dresser un profil politique détaillé pour chaque individu et de l’influencer en lui transmettant des messages publicitaires exploitant ses préférences et ses biais idéologiques.

Des chercheurs ont appliqué une méthode similaire au domaine de la cybersécurité offensive en créant une IA (SNAP_R) capable de déterminer au sein d’une foule d’usagers d’un service en ligne (Twitter en l’occurrence) les cibles de plus grande valeur, c’est à dire celles qui sont les plus influentes, s’intéressent à des sujets particuliers ou occupent des fonctions stratégiques au sein de leur organisation. Leurs activités et leurs intérêts sont ensuite analysés afin d’élaborer des messages d’hameçonnage personnalisés ayant une forte probabilité d’infection malveillante. Le résultat est une IA capable d’automatiser et de personnaliser la conception et la distribution de messages malveillants destinés à tromper la vigilance de leurs destinataires et à déjouer les mesures de sécurité les plus complexes. Ces capacités restent encore l’apanage des chercheurs, mais elles répondent parfaitement aux besoins des équipes de hackers privés ou de gouvernementaux disposant de compétences et de ressources importantes et spécialisées dans le vol de données sensibles ou de la propriété intellectuelle de concurrents d’affaires.

L’autonomisation de la prise de décision n’est pas sans risques. Il faut s’assurer que les mesures de sécurité mises en œuvre par les machines ne génèrent pas involontairement des retombées catastrophiques pour les humains.

La troisième configuration se caractérise par des interactions opposant des IA qui remplissent respectivement des fonctions offensives et défensives. Face à la prolifération des vulnérabilités techniques et des objets connectés ainsi qu’à l’automatisation des attaques, seules des IA spécialisées en cybersécurité semblent capables d’analyser en temps réel des millions d’événements suspects détectés sur les réseaux informatiques et d’intervenir en conséquence. Désirant encourager l’innovation dans ce domaine, la Defense Advanced Research Projects Agency (l’agence de recherche du ministère américain de la Défense, ou DARPA) organisa en août 2016 à Las Vegas un tournoi d’IA mettant en présence sept équipes qui devaient détecter les failles dans les serveurs placés sous la surveillance de leurs concurrents et protéger leurs propres serveurs contre les attaques provenant de ces derniers. À l’issue de cette épreuve, les machines déployées furent capables de détecter et de corriger en quelques secondes des failles de sécurité inconnues, ce qui constitue une percée majeure par rapport aux semaines ou aux mois qui peuvent s’écouler dans le monde réel entre la divulgation d’une vulnérabilité informatique et l’application de correctifs de sécurité.

Mais cette autonomisation de la prise de décision n’est pas sans risques. En effet, des mécanismes de contrôle et d’audit robustes devront être mis en place afin de s’assurer que les mesures de sécurité mises en œuvre par ces machines ne génèrent pas involontairement des retombées catastrophiques pour les humains, notamment dans le domaine des systèmes cyberphysiques d’importance vitale comme les réseaux de distribution d’électricité et d’eau. L’interruption prolongée de l’accès à ces services essentiels dans des métropoles comme Montréal ou Toronto du fait d’une erreur commise par une IA provoquerait très rapidement des effets désastreux en cascade et des mouvements de panique collective.

De plus, face au développement de capacités cybernétiques offensives automatisées par un nombre croissant de pays, le droit de la guerre devra être adapté afin de limiter les conséquences négatives sur les populations civiles et les infrastructures numériques dont ces dernières dépendent.

L’IA permettra sans aucun doute de résoudre certains des problèmes les plus épineux associés aux enjeux de cybersécurité, et plus particulièrement de réduire le décalage croissant entre la prolifération exponentielle des risques numériques et les capacités cognitives des humains qui sont chargés d’y répondre. Mais en déléguant à des machines autonomes la prise de décisions complexes affectant la sécurité des infrastructures et des personnes, nous courons aussi le risque de perdre la maîtrise de certains rouages cruciaux à l’exercice de notre souveraineté démocratique. En effet,  les IA de cybersécurité pourraient commettre des erreurs d’interprétation ou de jugement dont les conséquences imprévues fragiliseraient l’ensemble de l’écosystème numérique.

Au-delà des simples critères de performance et d’efficacité, le développement inévitable de ces outils devra rapidement s’accompagner d’une réflexion approfondie sur les paramètres éthiques et les instruments de régulation devant encadrer leur utilisation. Cela implique par exemple qu’au-delà des grandes déclarations de principes, des programmes ambitieux de recherche en droit et en sciences sociales viennent compléter les investissements considérables déjà consentis en informatique afin de comprendre les impacts de l’IA sur les individus et les institutions.

Ces recherches empiriques pourraient par exemple se pencher sur l’efficacité des dispositifs légaux s’appliquant aux situations où l’utilisation de l’IA s’avère problématique, sur les modalités concrètes d’interaction et de prise de décision lorsque des experts en cybersécurité collaborent avec des IA, sur les stratégies d’adoption des IA par les cyberdélinquants et les moyens de réduire les opportunités de ces derniers, ou encore sur les mécanismes cognitifs permettant à des IA de conseiller les individus afin de les aider à réduire leurs risques de cybervictimisation. Cela permettrait aux décideurs politiques et aux institutions en charge de notre cybersécurité de s’appuyer sur des savoirs pouvant canaliser cette révolution technologique au profit du bien commun, plutôt que d’en devenir les victimes collatérales.

Cet article fait partie du dossier Dimensions éthiques et sociales de l’intelligence artificielle.

Photo : Shutterstock / BeeBright


Souhaitez-vous réagir à cet article ? Joignez-vous aux débats d’Options politiques et soumettez-nous votre texte en suivant ces directives. | Do you have something to say about the article you just read? Be part of the Policy Options discussion, and send in your own submission. Here is a link on how to do it.