Constat : de plus en plus l'IA s'invite lors des roadshow cyber. D'abord timidement depuis 2 ans et aujourd’hui de manière plus régulière. 

Quand le sujet n'est pas abordé par l'assuré, il y a des chances qu'un assureur pose une question. Alors comment évaluer le risque lié à l'IA et à son arrivée dans l'entreprise ? 

Derrière ce besoin, il y a plusieurs questions, beaucoup même.

Car en effet, vous savez qu'il y a plusieurs IA, plusieurs déploiements possibles, des besoins et des usages divers en fonction des entreprises... les risques liés à l'IA dans l'entreprise sont aussi variés que les activités des assurés.

Dans cet article dont vous lisez ici la première partie, nous abordons les usages et les risques qui y sont liés. Nous verrons aussi qu’il existe déjà un cadre posé par l’Union Européenne et que le connaitre ne serait-ce que dans les grandes lignes permet déjà de poser quelques bonnes questions pour appréhender le risque.

Au final de quels risques parle-t-on ? Et est-ce vraiment un sujet cyber ? Plus il émerge plus il semble relever de la RC.

Par exemple, un industriel qui implémente une infrastructure d'IA avec un objectif d'automatiser une partie du contrôle de ses processus n'aura pas la même exposition au risque qu'un cabinet d'avocat qui se dote d’une IA générative et l'entraine sur tous les dossiers traités depuis 30 ans.

De même, une IA dans un secteur qui évolue rapidement avec un fort potentiel de croissance ne pourra pas être déployée de la même manière que dans un secteur mature et stable. Rien que cette différence influence les choix technologiques (dont nous parlerons dans la seconde partie à venir de cet article).

Et donc, bien appréhender les risques de l'IA et pas nécessairement que des risques cyber réclame de bien définir et comprendre son cadre d’usage pour recueillir les informations utiles à son évaluation.

En premier lieu, il convient de se demander pourquoi l'assuré veut mettre en place une IA, au-delà du fait d'améliorer sa performance : Quel est son projet, pour quoi faire ?

Quelques exemples d'utilisation dans l'industrie :

- Optimiser des tâches, des choix, gérer des entrepôts, la logistique, des prévisions de production, aider à prendre des décisions

⁃    Prévoir des pannes et réaliser la maintenance préventive de manière optimale

⁃    Surveiller la performance de l'outil industriel, l'optimiser avec des jumeaux numériques (répliques virtuelles de chaines de production, machines, usines).

⁃    Améliorer la qualité de production en temps réel

⁃    Innover, stimuler la R&D

Autres exemples d'utilisation et de finalités dans le tertiaire :

⁃    Service client, automatisation de la gestion des demandes courantes (chatbots, suivis, petits dépannages)

⁃    Rationaliser la charge de travail, anticiper les demandes

⁃    Gain de temps de recherche et d'analyse, aide à la décision

⁃    Suivi historique de l'activité et de la production intellectuelle

⁃    Réduction de l'administratif

⁃    Automatisation du benchmarking

⁃    Analyse fine des tendances, utilisation de modèles prédictifs, ciblage

⁃    Exploitation de données de tiers, ciblage

Le premier point est donc de bien comprendre quelle(s) sont les utilisation(s) que l'assuré veut faire de l'IA. Car les IA mises en œuvre dépendent de ces choix, tout comme les scenarii de risque qui en découlent.

Il convient également de couvrir tout le spectre possible des utilisations que l'entreprise compte faire, comme par exemple dans les RH, secteur prometteur pour l’IA, où les risques ne sont pas des moindre, par exemple :

Les RH collectent et traitent de nombreuses données personnelles, l'arrivée de l'IA expose les entreprises à des risques importants en matière de confidentialité et de sécurité des données. Ces déjà le cas pour de nombreux service RH ou autres cabinets de recrutement direz-vous, ces risques sont déjà existants.

Oui mais, avec l'IA ces données vont voir leur surface d'exposition augmenter, d'autant plus qu'elles risquent de servir à l'entrainement de modèles d'IA, d'une part sans nécessairement le consentement des personnes concernées et d'autre part avec des informations que les RH ne sont pas censées conserver... au regard du RGPD.

Autre risque, lié au modèle. Si vous demandez 2 fois la même chose à une IA vous avez de fortes chances d'obtenir des réponses différentes (pas forcément contradictoires mais proches). Imaginons que ce modèle serve à évaluer, sélectionner des candidats, évaluer la performance de collaborateurs ou encore proposer un niveau de rémunération, une prime, une évolution de carrière...

Au-delà les biais intrinsèques, en cas de défaillance, de manque de cohérence, qui sera "responsable d'expliquer le modèle". Est-ce l'algorithme, les données d'entraînement, l’interprétation ?

Si l'entreprise n'arrive plus à recruter les profils voulus, que les talents partent, que la pyramide des âges dans l'entreprise est cassée... qui est responsable ? Poussons l’exercice de pensée… ce n’est pas ma faute, c’est celle de l’IA, je ne fais que suivre ses recommandations et ses aides à la décision, nous n’avons plus de chargé(e) de recrutement depuis sa mise en place.

L'IA pose en fait plus de questions de autour des responsabilités de que de défis cyber. Nous aborderons les infrastructures et leur risque dans une suite à cet article.

En tout état de cause, les avantages, manifestes sur le papier, s'accompagnement de challenges en termes de responsabilité et d'éthique.

L'entreprise reste responsable de l'employabilité des collaborateurs et à ce titre elle doit investir dans la formation et la reconversion. L'impact sur l'emploi doit être abordé car il représente un réel enjeu que les assureurs ne peuvent ignorer.

Un cadre règlementaire à parfaire

Les risques liés à l'IA sont encadrés par la réglementation européenne sur l’IA (AI Act) depuis mars 2024. Elle établit des normes strictes pour l’utilisation de l’IA dans les environnements critiques, clarifie les responsabilités en cas de défaillance.

Elle définit 4 catégories de risques : Les compagnies doivent poser la question aux assurés pour savoir dans quelle catégorie leur (projet) IA se situe.

•   Les risques inacceptables sont interdits (par exemple, les systèmes de notation sociale et l'IA manipulatrice).

•   Les systèmes d'IA à haut risque sont réglementés.

•   Les systèmes d'IA à risque limité sont soumis à des obligations de transparence plus légères : les développeurs et les déployeurs doivent s'assurer que les déployeurs finaux sont conscients qu'ils interagissent avec l'IA (chatbots et deepfakes).

•   Le risque minimal n'est pas réglementé (y compris la majorité des applications d'IA actuellement disponibles sur le marché unique de l'UE, telles que les jeux vidéo et les filtres anti-spam activés par l'IA - au moins en 2021 ; cette situation est en train de changer avec l'IA générative).

En résumé pour bien aborder le risque lié à l'IA chez un assuré qui déploie ou qui envisage le déploiement d'une IA, il convient en premier :

•   D'identifier les "tâches" attendues et le type d'IA utilisé (pourquoi faire)

•   De s’interroger si une défaillance de l'IA serait de nature à mettre en danger la santé et la sécurité des personnes ou des biens. Comment ce point a été évalué et par qui ?

•   Demander à l'assuré s'il a déjà procédé à un audit pour savoir si son système/projet d'IA est soumis à une ou plusieurs obligations de la loi européenne sur l'IA. Si oui, dans quel catégorie de risque se situe le système d'IA et quelles sont les obligations ?

•   Où se trouve le système et où sont/seront utilisées les données ?

Les articles du règlement européen sur l'IA qui constituent un point d'attention pour comprendre l'usage que les assurés veulent faire de leur système d’IA : 25, 2, 5, 3, 6 et 50.

Même si l’arrivée de l’IA est plus rapide qu’initialement prévu par les institutions, le contexte actuel, les enjeux de souveraineté et de protection des données font que le sujet est pris au sérieux par les autorités en Europe.

Une jurisprudence récente liée à l'IA et à la protection des données personnelles concerne la société CLEARVIEW AI condamnée en 2022 par la CNIL à une amende de 20M€.

Cette entreprise américaine spécialisée dans la reconnaissance faciale avait collecté des images des millions de personnes sur internet sans leur consentement pour entrainer ses algorithmes d'IA. La CNIL a qualifié cet acte de violation grave de la RGPD et demandé la suppression des données. L'entreprise ne s'est pas conformée à la décision de la CNIL et a été condamnée à nouveau en 2023 à une astreinte de 5,2 M€.

Le régulateur Britannique a également condamné CLEARVIEW AI sur des fondements proches de ceux de la CNIL

Espérant que cette première partie vous aura apporté un éclairage intéressant, nous aborderons les infrastructures d'IA dans une suite à cet article.

Pour finir cette introduction, voici quelques définition des termes liés à l'IA dans le Règlement Européen

• Fournisseur : personne physique ou morale, autorité publique, agence ou autre organisme qui développe un système d'IA ou un modèle d'IA à usage général (ou qui fait développer un système d'IA ou un modèle d'IA à usage général) et les met sur le marché ou met le système en service sous son propre nom ou sa propre marque, que ce soit à titre onéreux ou gratuit ;

• Déployeur : toute personne physique ou morale, autorité publique, agence ou autre organisme utilisant un système d'IA sous son autorité, sauf si le système d'IA est utilisé dans le cadre d'une activité personnelle non professionnelle ;

• Distributeur : toute personne physique ou morale de la chaîne d'approvisionnement, autre que le fournisseur ou l'importateur, qui met un système d'IA à disposition sur le marché de l'Union ;

• Importateur : toute personne physique ou morale située ou établie dans l'Union qui met sur le marché un système d'IA portant le nom ou la marque d'une personne physique ou morale établie en dehors de l'Union ;

• Représentant autorisé : toute personne physique ou morale située ou établie dans l'Union qui a reçu et accepté un mandat écrit d'un fournisseur de système d'IA ou de modèle d'IA à usage général pour, respectivement, exécuter et mener à bien en son nom les obligations et procédures établies par le présent règlement.

• Fabricant de produits : met sur le marché ou met en service un système d'IA avec son produit et sous son propre nom ou sa propre marque ;

Lien très intéressant sur l’EU Artificial Intelligence Act et qui a servi aussi de source à cet article.