Les algorithmes jouent un rôle croissant dans la sphère publique, qu’il s’agisse de calculer le montant d’une aide sociale, d’attribuer une place en crèche ou d’évaluer les risques de défaillance des entreprises.

De nombreux travaux et rapports ont souligné la diversité des enjeux liés au déploiement de ces systèmes, susceptibles d’influencer voire d’automatiser des décisions pouvant affecter négativement les individus, comme par exemple en matière d’autonomie ou d’équité.

Cet intérêt pour les questions d’impact s’est notamment précisé dans le cadre du recours à des systèmes algorithmiques par l’administration pour la prise de décisions administratives susceptibles d’affecter les personnes, de manière individuelle ou collective.

La France s’est doté d’un cadre juridique en faveur d’une plus grande transparence de ces systèmes et d’un droit à l’explication pour les individus. Les gouvernements et des acteurs de la société civile ont développé des outils d’évaluation d’impact algorithmique (EIA).

Ces questions sont abordées dans une étude réalisée par Elisabeth Lehagre, à la demande d’Etalab, qui porte plusieurs actions en ce sens, au sein de la direction interministérielle du numérique (DINUM).

Évaluer : quoi ? comment ? pourquoi ?

Le premier constat est celui de la diversité des outils examinés : il n’existe pas de modèle-type. Les évaluations d’impact algorithmique se présentent sous des formes et des contenus variés.

• L’AI Now Institute propose un cadre de bonnes pratiques incluant 5 recommandations d’ordre général (dont la mise en place de procédures pour la vérification et le suivi externe des impacts),
• Le Groupe d’experts de haut-niveau pour une IA de confiance, rassemblé par la Commission européenne, propose une liste de questions qui servent de base à l’auto-évaluation des systèmes,
• Le Gouvernement de la Nouvelle Zélande intègre dans sa charte des algorithmes une matrice de risques, qui permet de quantifier la probabilité d’effets négatifs sur les personnes (effet improbable, occasionnel, probable) par rapport au nombre de personnes potentiellement impactées (faible, modéré, élevé).
• L’outil proposé par le Gouvernement du Canada (conseil du Trésor) se distingue car il permet de calculer automatiquement le niveau de risques d’un systèmes en répondant à quelques questions. Selon le niveau d’incidence ainsi calculé, des recommandations particulières sont formulées.

Des outils d’auto-évaluation qui doivent encore faire leurs preuves

Deux questions émergent : la compréhension de ces outils par les acteurs qui sont censé les utiliser, et les limites de l’auto-évaluation. « L’évaluation d’impact est-elle suffisamment compréhensible pour être utilisable ? » s’interroge ainsi l’auteure de l’étude. Les difficultés de compréhension peuvent être multiples : difficulté à cerner de manière précise le périmètre et l’objet de l’évaluation (« systèmes d’intelligence artificielle », « algorithmes », « systèmes de décision automatisée » ?) mais aussi les domaines d’impact (« bien-être », « droits et libertés des personnes » ?).

La seconde interrogation concerne l’auto-arbitrage. En effet, la très grande majorité de ces outils ont été pensés comme des outils d’auto-évaluation interne, où les personnes réalisant l’exercice d’évaluation sont aussi celles en charge de la conception et du déploiement de ces outils. « Afin d’éviter les risques liés à l’auto-arbitrage (où les mêmes acteurs sont potentiellement juge et partie), plusieurs recommandations ont été développées, dont l’importance de rendre publique et transparente les évaluations d’impact algorithmique. La possibilité de faire participer des tiers (pairs en interne ou experts externes) à l’évaluation ou au contrôle des systèmes est une autre piste étudiée ».

Sommaire de l'étude

• Introduction

• Qu’est-ce qu’une évaluation d’impact algorithmique ?

• Une définition générique pour une notion aux dimensions multiples
• Un outil d’auto-évaluation aux formes variées : du guide de bonnes pratiques  à l’outil de calcul de risque automatisé

• Que contient une évaluation d’impact algorithmique ?

• L’identification de l’objet et des effets à évaluer : sur quoi porte l’évaluation ?
• Les modalités d’évaluation des impacts : comment est réalisée l’évaluation ?
• Le cadre de l’évaluation d’impact algorithmique     algorithmique

• L’évaluation d’impact algorithmique est-elle « utilisable » en pratique

• Question de la compréhension : l’évaluation d’impact algorithmique est-elle  suffisamment compréhensible pour être utilisable ?
• Question de l’auto-arbitrage : l’autonomie dans l’évaluation de l’impact algorithmique nuit-elle à son utilisabilité ?
• Conclusion

Références : 1 2

Le PEReN : un centre d’expertise au sein de l’Etat pour analyser le fonctionnement des plateformes numériques

C’est dans ce contexte que le Pôle d’expertise de la régulation numérique (PEReN) a été créé, en 2020, « afin de constituer un centre d’expertise en science des données mobilisable par les services de l’Etat et les autorités administratives indépendantes le souhaitant ».

Le PEReN n’est pas une instance de régulation : il  fournit un appui aux services de l’État ayant des compétences de régulation des plateformes numériques, et s’investit dans des projets de recherche en science des données à caractère exploratoire ou scientifique.

Référence : 3

LaborIA : un  centre de ressources et d’expérimentations sur l’intelligence artificielle dans le milieu professionnel

Pour accompagner ces transformations et y préparer les entreprises et les salariés, le Ministère du Travail, de l’Emploi et de l’Insertion et l’INRIA s’associent pour créer un centre de ressources et d’expérimentations sur l’intelligence artificielle dans le milieu professionnel.

Baptisé « LaborIA », ce centre de ressources permettra de mieux appréhender l’intelligence artificielle et ses effets sur le travail, l’emploi, les compétences et le dialogue social, dans l’objectif de faire évoluer les pratiques des entreprises et l’action publique.

Référence : 4