Skip to main content
Marsh logo

Article

«Intervention humaine» dans la gestion des risques liés à l’IA – pas une panacée

Le fait de maintenir une «intervention humaine» est souvent cité comme stratégie d’atténuation des risques liés à l’intelligence artificielle (IA). En fait, dans certaines juridictions, il s’agit d’une exigence légale.

09/01/2024 · Lecture de 5 minutes

Le fait de maintenir une « intervention humaine » est souvent cité comme stratégie d’atténuation des risques liés à l’intelligence artificielle (IA). En fait, dans certaines juridictions, il s’agit d’une exigence légale.[1] Cette approche est basée sur le principe que la surveillance humaine peut atténuer les erreurs technologiques inévitables générées par l’IA. Pourtant, les humains sont faillibles, intrinsèquement biaisés et peuvent ajouter aux erreurs technologiques produites par l’IA au lieu de les atténuer. Dans cet article, nous expliquons pourquoi la prescription d’une solution avec intervention humaine peut être trop simpliste, car son efficacité dépend grandement de la définition de la portée, de l’articulation du principe sous-jacent favorisant le désir d’une intervention humaine afin de choisir le bon humain et d’avoir un processus pour éliminer les biais. Sans définir clairement ces éléments, l’intervention humaine est condamnée à ne pas atteindre son objectif.

Qu’est-ce qu’une intervention humaine?

Le terme « intervention humaine » est utilisé de différentes façons dans le secteur de l’IA, en référence à la surveillance humaine appliquée à certains segments du processus de développement de l’IA (p. ex., surveillance humaine appliquée à l’entraînement à partir de modèles) et à d’autres moments en référence à la phase opérationnelle de l’IA, pendant laquelle les utilisateurs finaux interagissent avec le modèle (p. ex., surveillance humaine appliquée à un agent conversationnel du service à la clientèle). Le premier est défini par la gouvernance et la supervision humaine sur un système d’IA global, ce qui garantit qu’il ne cause pas de préjudice ni qu’il ne devienne incontrôlable. Ce dernier est axé sur la phase opérationnelle où il existe un fort désir d’atténuer les risques liés à l’autonomie du système d’IA ou à la prise de décision automatique. L’idée derrière cette approche opérationnelle est d’intégrer la surveillance et l’intervention humaines continues en temps réel pour aider à empêcher le système d’IA de prendre des décisions erronées.

Divers régimes législatifs et réglementaires traitant de l’IA, comme la Loi sur l’IA de l’UE, ont introduit le concept d’intervention humaine de telle sorte qu’il s’applique à la fois au processus de développement de l’IA et aux processus opérationnels. Dans cet article, nous nous concentrerons uniquement sur l’application opérationnelle du principe d’intervention humaine.

Définir la portée  

Dans le contexte opérationnel, la « portée » fait référence à la portée de l’exploitation du système d’IA qui nécessite une atténuation des risques. Bien qu’il puisse y avoir plusieurs portées en pratique, leur nombre est probablement assez limité, car l’accent est mis sur l’atténuation des risques associés aux décisions prises par le système d’IA. Il est important de bien définir la portée, car toutes les portées ne nécessitent pas une intervention humaine. En fait, pour certaines portées, une intervention humaine peut être contre-productive et causer plus d’erreurs. Pour décider quelles portées sont les bonnes pour intégrer une intervention humaine, les organisations peuvent poser une question simple : où, dans le cycle de vie du système, l’IA est-elle utilisée pour prendre des décisions consécutives, comme celles ayant des résultats financiers, juridiques ou liés à la santé? Lorsqu’une telle utilisation existe, il existe un risque d’activité autonome qui peut donner par erreur des résultats consécutifs et une intervention humaine devrait probablement être intégrée.

Prenons l’exemple d’une organisation qui finalisait des modèles préentraînés (p. ex., en utilisant des plateformes comme Azure OpenAI) avec des données exclusives pour adapter le modèle à un usage dans un agent conversationnel du service à la clientèle. Cela permet d’offrir aux clients des interactions plus rapides et personnalisées avec une disponibilité améliorée. Dans ce contexte, bien que plusieurs portées nécessitant une atténuation des risques existent (p. ex., la phase où le modèle est entraîné sur les questions et les réponses pertinentes, la portée où le modèle est intégré dans l’infrastructure informatique de l’entreprise et la phase où l’agent conversationnel interagit en temps réel avec les clients), la seule portée opérationnelle dans laquelle il existe un risque de décision importante prise par l’IA est en temps réel. Même dans de tels cas, les organisations doivent évaluer si l’interaction est suffisamment importante pour nécessiter une intervention humaine. Par exemple, les interactions relativement mineures (p. ex., où trouver un formulaire) peuvent ne pas nécessiter d’intervention et, à la place, une surveillance humaine périodique, alors que des interactions plus importantes (p. ex., approbation pour un remboursement) peuvent nécessiter une intervention humaine.

D’autre part, certains systèmes d’IA peuvent être utilisés dans des cas sans prise de décision consécutive. Par exemple, un agent conversationnel avec IA dont la fonction est d’aider les utilisateurs à trouver des formulaires ou du contenu sur le site Web est conçu pour automatiser les tâches répétitives basées sur des règles afin d’accroître l’efficacité et la précision dans le guidage des utilisateurs vers les informations appropriées, réduisant ainsi le risque d’erreur humaine. En cas d’erreur, un utilisateur peut facilement être redirigé vers la page appropriée. L’ajout d’une intervention humaine dans ce contexte annulerait tout avantage gagné. De même, l’ajout d’une intervention humaine continue dans un modèle d’IA qui améliore les images dans les photographies à partir d’algorithmes prédéfinis en fonction de critères objectifs (p. ex., réduction du bruit, correction des couleurs, etc.) est susceptible de causer plus d’erreurs en raison du caractère faillible de l’humain.

Par conséquent, il est important que les décideurs se concentrent sur les différents types d’intelligence artificielle et les différents cas d’utilisation, ce qui permet de clarifier les situations où une intervention humaine ajoute de la valeur plutôt que sur des scénarios où elle peut causer des dommages.

Choisir l’humain

L’expression « intervention humaine » est souvent utilisée sans déterminer qui ou plutôt quelle expertise est requise. Est-ce que c’est une personne qui comprend le processus d’affaires sous-jacent dans lequel l’IA est utilisée? Ou quelqu’un qui comprend l’outil d’intelligence artificielle et où ce dernier pourrait échouer? Faut-il que quelqu’un ayant l’autorité de prendre des décisions remplace l’outil ou simplement quelqu’un qui peut observer et valider les résultats ou encore signaler un échec perçu? Ces distinctions sont essentielles à la conception du mécanisme de sécurité de l’intervention humaine appropriée.

Ce que cela signifie en pratique, c’est que pour décider où et comment une intervention humaine ajoute de la valeur, les organisations doivent définir clairement le principe sous-jacent qui stimule le désir d’une intervention humaine avant d’affecter ledit « humain » à la supervision. Par exemple, si le facteur est la transparence, la connaissance du domaine est essentielle, car l’humain doit comprendre le fonctionnement du système d’intelligence artificielle. Si le désir est la précision, l’humain doit comprendre le sujet traité par l’IA. Si le désir est de respecter les obligations légales ou réglementaires (de nombreuses lois ont des restrictions sur la prise de décisions automatiques), l’humain doit être au courant de ces règles. Et si le désir est d’assurer l’équité, l’organisation doit définir les paramètres d’équité et la façon dont ils sont mesurés. À moins que les objectifs de supervision ne soient définis à l’avance, l’affectation d’un humain à agir comme intervenant pourrait être le fondement même d’un autre problème.

En appliquant cette justification au cas d’une portée impliquant un agent conversationnel en contact avec le client, le principe sous-jacent est probablement axé sur la précision dans le service à la clientèle. Ainsi, l’expertise « humaine » requise est probablement composée de représentants expérimentés du service à la clientèle possédant le pouvoir d’intervenir dans des circonstances précises (p. ex., décisions concernant des remboursements), afin d’assurer des résultats appropriés pour le client. Dans une « boucle » différente qui implique un outil d’intelligence artificielle qui aide à filtrer des curriculum vitæ, les principes sous-jacents impliquent probablement l’équité et la transparence, auquel cas l’expertise humaine devrait consister probablement en une expérience en recrutement. Une seule organisation utilisera probablement plusieurs outils d’intelligence artificielle pour différents cas d’utilisation et devra donc définir plusieurs « portées » avec une expertise humaine respective assurant la supervision de chaque cas d’utilisation défini.

Le mythe de la partialité

En discutant de la nécessité d’une intervention humaine, l’introduction d’un facteur humain est souvent considérée comme un moyen d’atténuer les risques de biais de modèle et de résultats discriminatoires entraînés par l’IA. Mais l’implication humaine n’est pas en soi une protection suffisante contre les risques de biais et de discrimination associés à l’IA – après tout, chaque humain est biaisé et nous apportons tous nos préjugés à notre travail. Parfois, les humains peuvent même avoir un préjugé envers la délégation à un système d’IA et hésiter à remettre en question ses résultats, ce qui sous-tend l’objectif même de la surveillance humaine. Que la supervision soit effectuée par une personne ou une équipe élargie, la surveillance humaine sans principes directeurs et un processus pour définir et évaluer les préjugés peut devenir un simple échange entre les préjugés de la machine et les préjugés humains. Les préjugés ne peuvent jamais être réduits à zéro – ils sont inhérents aux humains et, par conséquent, aux systèmes d’IA conçus par les humains. La seule façon d’atténuer les préjugés est de clarifier les types de préjugés présents et de déterminer dans quelle mesure ils sont tolérables. Pour ce faire, il faut définir clairement les paramètres de résultats cibles comme approximations de biais, et des principes directeurs associés à une évaluation minutieuse des données du modèle d’entrée et de sortie afin de voir à quel point elles sont alignées avec les paramètres et les principes respectifs. Ce processus doit être itératif, consistant en une réévaluation périodique des données du modèle de base qui, avec le temps, ne reflètent plus la façon dont le monde a évolué. Étant donné que l’IA et les humains sont intrinsèquement biaisés, un tel processus pourrait tirer profit d’une relation symbiotique entre l’IA et les humains, où les humains évaluent les biais potentiels dans les systèmes d’IA, et les systèmes d’IA à leur tour aident à repérer les angles morts et les préjugés humains potentiels.

Conclusion

En conclusion, la surveillance humaine des systèmes d’IA n’est pas en soi une panacée pour atténuer les risques liés à l’IA et elle peut, au mieux, mener à un faux sentiment de sécurité et, au pire, à des risques composés. La résolution des risques liés à l’IA avec une intervention humaine nécessite :

  1. Définir clairement la portée applicable.
  2. Préciser clairement les principes sous-jacents pour favoriser la supervision afin que l’humain approprié puisse être affecté au rôle.
  3. Dans la mesure du possible, avoir des mesures appropriées pour évaluer les résultats compatibles avec l’IA afin de tenir compte des biais inhérents et de la crédibilité du jugement humain et des limites technologiques.  

[1] Par exemple, la Loi sur l’IA de l’UE (article 14) exige que des systèmes à haut risque soient conçus de manière à ce que « les personnes naturelles puissent superviser leur fonctionnement, s’assurer qu’ils sont utilisés comme prévu et que leurs impacts soient traités tout au long du cycle de vie du système. »

Cet article a été publié à l’origine par l’IAPP.

* Disponible en anglais seulement

Cliquez ici

Nos employés

Orrie Dinstein

Orrie Dinstein

Responsable de la protection des renseignements personnels, Marsh McLennan

Jaymin Kim

Jaymin Kim

Directrice de la stratégie commerciale relative aux cyberrisques et aux risques de la technologie et du numérique chez Marsh McLennan Advantage

Renseignements pertinents

Startup business people group at office

Article

Comptabiliser les pertes économiques à la suite de la panne informatique mondiale

07/30/2024
Placeholder Image

Article

Panne causée par la mise à jour logicielle de CrowdStrike

07/19/2024
Aerial view of crowd connected by lines

Article

Résoudre le dilemme financier lié aux cyberrisques

04/11/2024
A guide to navigating the US securities and exchange commission’s cybersecurity risk management, strategy, governance, and incident disclosure rules.

Rapport

Navigation dans les règles de divulgation des incidents de cybersécurité de la SEC

01/07/2024
En voir plus