Intelligence artificielle, les grands chantiers cybersécurité à lancer

L’arrivée de ChatGPT a bouleversé l’écosystème de l’IA tout entier, provoquant une course effrénée aux projets et aux annonces chez les géants du web, mais aussi au sein de nombreuses grandes organisations.

Même les cybercriminels ont commencé à s’en servir pour améliorer leurs attaques, comme le montre l’arrivée récente de plusieurs « DarkGPT ». Ces derniers ont défrayé la chronique en facilitant la réalisation d’attaques, notamment la génération de courriels frauduleux ou de sites de qualité, et la création d’outils malveillants.

Avec la rentrée, et une fois passé l’engouement des premières semaines, il est temps de prendre du recul, d’analyser les enjeux en matière de cybersécurité et de structurer une réponse appropriée.

D’abord, quel est l’usage de ChatGPT et d’équivalents dans votre organisation ? Avec une courbe d’adoption aussi forte, il est probable que bon nombre de vos collaborateurs l’utilisent déjà… Il est essentiel de comprendre quels sont ces usages et de rappeler les risques qui leur sont associés.

Nous avons observé de nombreux cas d’usage, des plus anodins, comme la traduction de textes, aux plus problématiques, tels que l’envoi de fichiers clients pour permettre des analyses, en passant par de nombreux usages parmi les équipes de développeurs.

Il est crucial de bien rappeler à tous vos collaborateurs les risques inhérents à l’envoi de données internes, confidentielles, ou contenant des informations à caractère personnel. Les structures les plus avancés dans cette démarche vont jusqu’à identifier les cas d’usage avec les utilisateurs et à définir un cadre d’intervention normé. Des solutions concrètes pour encadrer l’usage en limitant les risques sont en train d’émerger. À noter, l’annonce récente de Bing Entreprise Chat qui promet d’utiliser la puissance du chatbot de Microsoft tout en préservant la confidentialité des données de l’entreprise. Suivant votre contexte, activer ce service et en faire la publicité en interne peut certainement réduire les risques tout en promouvant l’accès à l’innovation !

Mais cette démarche n’est que l’arbre qui cache la forêt. Les projets d’IA se multiplient dans les organisations. Parfois, ils sont concentrés dans certaines équipes dédiées, parfois ils sont largement répartis dans l’entreprise. Ils exploitent de nombreux modèles différents, manipulent des données différentes, visent des publics différents. Il est alors impossible d’avoir une réponse unique. L’enjeu pour les responsables de la cybersécurité va être de réaliser les analyses de risques permettant d’identifier le besoin d’encadrement et de mettre en place une gestion de la cybersécurité.

Les méthodes historiques existent souvent dans les grandes organisations, mais elles doivent être réinventées pour prendre en compte les particularités de l’IA : Quelles données sont utilisées pour l’apprentissage ? Quel modèle est employé ? Quelle est sa fiabilité et la confiance qu’on peut lui accorder ? Quel est l’objectif visé, va-t-il engendrer une prise de décision automatisée ? Quelle est son exposition ? Le modèle doit-il être utilisé ou hébergé par des tiers ? Comment mon modèle résiste-t-il à des attaques spécifiques à l’IA comme l’empoisonnement, l’inférence ou l’illusion ? Avec quelques questions simples, il est possible de trier les projets et de se focaliser sur la sécurisation des plus risqués.

Parmi ces solutions, on retrouve des mesures de chiffrement des modèles pour pouvoir les confier à des tiers en toute sécurité (Skyld, Zama, Cosmian…) ou encore des « SOC IA » qui mesurent la déviation des réponses des modèles et des jeux de données pour détecter des attaques par empoisonnement (comme Cranium, par exemple). Nous avons eu la chance de travailler en profondeur sur ces sujets en réalisant le guide de l’ENISA « Securing Machine Learning Algorithm » qui présentent une liste des principales mesures à mettre en œuvre.

Toutes ces mesures doivent être évaluées et discutées dès maintenant pour éviter des problèmes ultérieurs et être intégrées dans les méthodologies classiques d’analyse de risques pour gérer le futur ! Un futur qui va évoluer rapidement, à la fois sur les usages mais aussi sur les réglementations, avec les discussions en cours en Europe sur l’AI Act et les initiatives aux États-Unis comme le NIST AI Framework ou les tentatives de la Maison Blanche visant une autorégulation du marché.

Enfin, il est important de noter que vos équipes de cybersécurité peuvent aussi tirer parti des innovations apportées par des technologies comme ChatGPT. Les plus avancées testent certains cas d’usage, par exemple pour permettre un accès simplifié aux politiques de sécurité en les interrogeant en langage naturel, vérifier certains aspects des contrats dans les relations avec les tiers ou pour classifier des documents.

Evidemment, ce qui est attendu par tous, c’est la capacité à rénover les systèmes de détection et de surveillance du SI pour passer à la vitesse de l’IA, maximiser l’automatisation et « augmenter » les compétences des équipes en place. Même si aujourd’hui beaucoup de ce qui est communiqué sur le marché reste à l’état de promesse souvent lointaine, les enjeux sont cruciaux et les équipes de sécurité doivent suivre cela de près.

L’IA va véritablement représenter un changement majeur dans les années à venir, nous avons l’opportunité d’en saisir toutes les opportunités de manière sécurisée dès maintenant. Alors, faisons-le !