[DOSSIER] Quels principes éthiques pour la conception des chatbots ?

Publié par Programme Société Numérique
Rapports 19.01.2022

La diffusion croissante d’agents conversationnels,  appelés aussi chatbots, capables de dialogue vocal ou écrit, soulève des questionnements d’ordre juridique, technique mais aussi éthiques.

  • Présents à travers une diversité d’artefacts, les chatbots sont déjà déployés dans le domaine de la santé, de l’aide aux personnes vulnérables, du recrutement, du service après- vente, de l’éducation, des banques, des assurances et dans bien d’autres encore, pour rendre de nombreux services aux utilisateurs.
  • Dans le domaine de la santé, par exemple, les agents conversationnels sont utilisés pour le diagnostic, la surveillance ou encore l’assistance aux patients.
  • Leur déploiement dans les entreprises vise à supprimer des tâches répétitives, améliorer l’interaction avec les clients et réduire les coûts.
  • Le déploiement des agents conversationnels peut aussi avoir des visées éducatives ou ludiques.

A la demande du Premier ministre, le Comité national pilote d’éthique du numérique (CNPEN) a été créé en décembre 2019 et a rendu un avis sur l’éthique des agents conversationnels.

Un agent conversationnel (appelé aussi chatbot), rappelle le CNPEN, « est une machine qui, à travers des échanges écrits ou oraux, interagit avec son utilisateur en langage naturel. Le plus souvent, un agent conversationnel ne constitue pas une entité indépendante mais est intégré dans un système ou une plateforme numérique multitâche, comme un smartphone ou un robot ».

« Parmi les travaux en éthique de l’intelligence artificielle, observe le CNPEN dans son avis,  la réflexion sur les agents conversationnels se distingue en premier lieu par la place du langage dans ces systèmes ; cela veut aussi bien dire l’analyse de l’impact des systèmes d’apprentissage machine sur le langage humain que l’impact du langage tel qu’il est utilisé par ces systèmes, sur les utilisateurs et la société en général ».

« Dans la majorité des cas, les chatbots actuels répondent selon des stratégies prédéterminées par leurs concepteurs. Du point de vue de l’utilisateur, cette solution prédéterminée est limitée car elle donne l’impression que « l’agent conversationnel manque d’imagination ».

Le succès d’une telle stratégie dans des dialogues complexes, ainsi que la capacité d’un agent conversationnel de ce type à expliquer son comportement, sont ainsi restreints. Ce sont toutefois des facteurs déterminants pour la diffusion de cette technologie. La situation est en train de changer avec le développement des chatbots qui utilisent les modèles de langue capables de construire des dialogues plus réalistes ».

Vers une « informatique affective »

« À l’heure actuelle, les concepteurs des agents conversationnels cherchent à créer des systèmes personnalisés pour qu’ils engagent l’utilisateur de manière plus efficace. Les recherches scientifiques et technologiques sur les agents conversationnels sont motivées par des visions ambitieuses : un « ami virtuel » imitant des affects et capable d’apprendre en interaction avec l’utilisateur, ou encore un « ange gardien » qui veillera à la sécurité de nos données personnelles ».

« Ces recherches s’appuient sur des technologies de pointe dans le domaine de l’apprentissage machine, développées par les instituts de recherche à l’international et diffusées principalement par les géants du numérique, telles que les réseaux de neurones de type transformeur, nourris par de gigantesques collections de données».

« Les chatbots les plus récents soulèvent de multiples questions éthiques également liées à l’utilisation de « l’informatique affective » qui permet d’influencer le comportement des utilisateurs ».

Cinq dimensions éthiques pour la conception des agents conversationnels

Le CNPEN a dégagé, dans son avis, huit dimensions de réflexion éthique relatives aux usages des chatbots :

  • Statut des agents conversationnels
  • Identité des agents conversationnels
  • Malmener un agents conversationnel
  • Manipulation par un agents conversationnel
  • Les agents conversationnels et les personnes vulnérables
  • Le travail et les agents conversationnels
  • les agents conversationnels et la mémoire des morts
  • Effets à long terme des agents conversationnels

L’avis du CNPEN distingue, en outre, cinq dimensions éthiques pour la conception des agents conversationnels :

  • éthique par conception
  • biais et non-discrimination
  • transparence, reproductibilité, interprétabilité et explicabilité
  • interaction affective avec l’être humain et adaptation automatique
  • évaluation des agents conversationnels

A l’issue de ses travaux, appuyés sur une consultation, le CNPEN formule treize préconisations sur les usages, dix principes de conception des chatbots et onze questions de recherche.

Cet avis s’adresse :

  • aux chercheurs en informatique qui doivent s’interroger sur leurs méthodologies de conception et d’évaluation des agents conversationnels
  • aux industriels qui doivent prendre conscience des tensions d’éthique et de confiance, avec les conséquences qu’elles induisent sur le marché économique
  • ainsi qu’aux autorités publiques qui doivent avoir la responsabilité d’accroître l’effort de formation et d’éducation, mais aussi d’évaluation des effets des agents conversationnels à court terme et des expérimentations à l’échelle de la société permettant de saisir leurs effets à long terme

Parmi ces différents enjeux, souligne le CNPEN, « les trois principales tensions concernent le statut des agents conversationnels, l’imitation du langage et des émotions par les chatbots et la prise de conscience par le public des capacités et limitations des agents conversationnels, y compris leur capacité à manipuler ».

Treize préconisations sur les usages

Réduire la projection de qualités morales sur un agent conversationnel

Pour réduire la projection spontanée de qualités morales sur l’agent conversationnel et l’attribution d’une responsabilité à ce système, le fabricant doit limiter sa personnification et informer l’utilisateur des biais éventuels issus de l’anthropomorphisation de l’agent conversationnel.

Affirmer le statut des agents conversationnels

Toute personne qui communique avec un agent conversationnel doit être informée de manière adaptée, claire et compréhensible du fait qu’elle dialogue avec une machine.

Paramétrer l’identité des agents conversationnels

Pour éviter les biais, notamment de genre, le choix par défaut des caractéristiques d’un agent conversationnel à usage public (nom, pronoms personnels, voix) doit être effectué de façon équitable à chaque fois que cela est possible. S’agissant des agents conversationnels personnels à usage privé ou domestique, l’utilisateur doit pouvoir modifier ces choix par défaut.

Traiter les insultes

S’il est impossible d’exclure les situations où l’utilisateur profère des insultes envers un agent conversationnel, le fabricant doit les prévoir et définir des stratégies de réponse spécifiques. Notamment, l’agent conversationnel ne devrait pas répondre aux insultes par des insultes et ne pas les rapporter à une autorité. Le fabricant d’un agent conversationnel apprenant doit veiller à exclure de telles phrases du corpus d’apprentissage.

Informer sur la manipulation à dessein

Dans l’hypothèse où l’agent conversationnel a été programmé de manière à pouvoir influencer le comportement de l’utilisateur dans le cadre de sa finalité, le fabricant doit informer l’utilisateur de l’existence de cette capacité et recueillir son consentement qu’il doit pouvoir à tout moment retirer. Le fabricant d’un agent conversationnel influenceur doit permettre aux utilisateurs d’être informés sur la nature, l’origine et les modalités de diffusion des contenus, et leur demander d’être vigilants avant de repartager ces contenus.

Eviter la manipulation malveillante

Le fabricant doit veiller à éliminer les manipulations malveillantes ou les menaces de la part de l’agent conversationnel. L’utilisateur doit avoir la capacité de signaler certaines expressions non souhaitées en vue d’une modification de l’agent conversationnel par le concepteur.

Encadrer l’usage des chatbots dans les jouets

Dans le domaine ludique, tout particulièrement pour la petite enfance, les autorités publiques se doivent d’évaluer les conséquences des interactions avec des chatbots, susceptibles de modifier le comportement des enfants. Les autorités publiques doivent encadrer l’utilisation des agents conversationnels auprès d’enfants au regard de l’impact de cette interaction sur le développement langagier, émotionnel et culturel de l’enfant.

Respecter les personnes vulnérables

Dans le cas du dialogue entre un agent conversationnel et une personne vulnérable, le fabricant de l’agent conversationnel doit veiller à respecter la dignité et l’autonomie de cette personne. Notamment dans le domaine médical, il est nécessaire, dès l’étape de conception des agents conversationnels, d’éviter la confiance excessive en ces systèmes de la part du patient et de veiller à lever la confusion entre l’agent conversationnel et le médecin qualifié.

Analyser les effets des agents conversationnels couplés à des mesures physiologiques

Dans les cas de couplage des agents conversationnels avec des mesures physiologiques (« quantified self »), les concepteurs doivent mener des analyses portant sur les risques de dépendance. Les autorités publiques doivent encadrer l’utilisation de ces systèmes au regard de leur impact sur l’autonomie de la personne.

Définir les responsabilités pour l’usage des agents conversationnels dans le milieu professionnel

Le fabricant doit prévoir des mécanismes de contrôle et d’au- dit afin de faciliter l’attribution de responsabilités au regard du bon fonctionnement ou du dysfonctionnement de l’agent conversationnel dans le milieu professionnel, notamment étu-dier leurs effets secondaires ou non-intentionnels.

Mener une réflexion sociétale avant toute réglementation des « deadbots »

À la suite d’une réflexion éthique approfondie à l’échelle de toute la société, le législateur doit adopter une réglementation spécifique concernant les agents conversationnels qui imitent la parole des personnes décédées.

Encadrer techniquement les « dead- bots »

Les concepteurs de « deadbots » doivent respecter la dignité de la personne humaine qui ne s’éteint pas avec la mort, tout en veillant à préserver la santé mentale des utilisateurs de tels agents conversationnels. Des règles doivent être définies et respectées concernant notamment le consentement de la personne décédée, le recueil et à la réutilisation de ses don- nées, le temps de fonctionnement d’un tel chatbot, le lexique utilisé, le nom qui lui est attribué ou encore les conditions particulières de son utilisation.

Encadrer le déploiement des chatbots « ange gardien »

Les autorités publiques doivent encadrer l’utilisation des agents conversationnels de type « ange gardien », qui sont capables de protéger les données d’une personne, afin de limiter le paternalisme et respecter l’autonomie humaine.

Dix principes de conception des chatbots

 « Ethique par conception » des agents conversationnels

Les concepteurs d’un agent conversationnel doivent analyser, en phase de conception, chacun des choix technologiques susceptibles de provoquer des tensions éthiques. Si une ten- sion potentielle est identifiée, ils doivent envisager une solu- tion technique visant à diminuer ou à faire disparaître la ten- sion éthique, puis évaluer cette solution dans des contextes d’usage réalistes.

Réduire les biais dans le langage

Pour réduire les biais dans le langage et tenter d’éviter les effets de discrimination, notamment culturels, les concep- teurs doivent mettre en œuvre une solution technique à trois niveaux : dans la mise en œuvre de l’algorithme, dans la sé- lection des paramètres d’optimisation et dans le choix des données d’apprentissage et de validation pour les différents modules des agents conversationnels.

Enoncer les finalités du chatbot

Le concepteur doit veiller à ce qu’un agent conversationnel communique sa finalité à l’utilisateur de manière claire et aisément compréhensible au moment adéquat, par exemple au début ou à la fin de chaque conversation.

Transparence et traçabilité du chatbot

L’agent conversationnel devrait pouvoir sauvegarder le contenu du dialogue à des fins de preuve en cas de litige. Cela introduit une tension entre les données privées et celles sauvegardées pour assurer la transparence des décisions du chatbot. L’architecture des chatbots, les connaissances utilisées et les stratégies de dialogue doivent être accessibles à toutes les parties concernées, notamment afin de faciliter le traitement d’éventuels problèmes juridiques. Cette préconisation pourrait déboucher sur une mesure d’ordre réglementaire définissant les conditions précises de son application.

Traitement des données collectées par les agents conversationnels

À l’image de l’encadrement existant des données de santé, il est nécessaire d’élaborer des règles éthiques et juridiques pour la collecte, le stockage et l’utilisation des traces linguistiques des interactions entre les agents conversationnels dans le respect du rgpd.

Informer sur les capacités des agents conversationnels

Dans un souci de transparence, l’utilisateur doit être informé de manière adaptée, claire et compréhensible, oralement ou par écrit, de la collecte des données, des capacités de l’agent conversationnel liées à l’adaptation aux données qu’il collecte en cours d’utilisation et au profilage.

Favoriser l’explicabilité du comportement du chatbot

Les concepteurs doivent développer des solutions favorisant la compréhension par les utilisateurs du comportement des agents conversationnels.

Respecter la proportionnalité lors du déploiement des technologies d’informatique affective dans les chatbots

Pour réduire la projection spontanée d’émotions sur l’agent conversationnel et l’attribution d’une intériorité à ce système, le fabricant devrait respecter la proportionnalité et l’adéquation entre les finalités recherchées et le déploiement des technologies d’informatique affective, notamment la détection du comportement émotionnel des personnes et l’empathie artificielle du chatbot. Il doit également informer l’utilisateur des biais éventuels de l’anthropomorphisme.

Adapter les agents conversationnels aux codes culturels

Les concepteurs des chatbots devraient adapter les agents conversationnels aux codes culturels d’expression des émotions dans différentes parties du monde.

Communiquer sur les capacités des agents conversationnels affectifs

Dans leur communication sur les agents conversationnels émotionnels, les concepteurs doivent veiller à expliquer les limites et les capacités réelles de ces systèmes aux utilisateurs pour ne pas donner prise à des surinterprétations de ces simulations affectives.

Onze questions de recherche

Reconnaître automatiquement les propos non désirables

Il est nécessaire de développer des méthodes de caractérisation automatique par les agents conversationnels de propos non désirables, notamment des insultes.

Etudier les mensonges proférés par un agent conversationnel

Il est nécessaire d’étudier des méthodes pour soustraire l’agent conversationnel à la projection de qualités morales à travers une mise en récit de ses actions explicitement différente de celle qui caractérise les mensonges proférés par les êtres humains.

Evaluer les effets éducatifs inédits des chatbots

Dans le domaine de l’éducation, tout particulièrement pour les enfants vulnérables et pour la petite enfance, les autorités publiques se doivent d’évaluer les conséquences des interactions entre les élèves et le chatbot.

Etudier les effets des agents conversationnels sur l’organisation du travail

Les autorités publiques et les acteurs privés doivent soutenir des recherches empiriques sur les effets organisationnels de l’introduction d’agents conversationnels dans les équipes se- lon les secteurs professionnels.

Etudier les effets de l’utilisation des chatbots à long terme

Les autorités publiques et les acteurs privés doivent investir dans des recherches sur les effets à long terme et les conséquences de l’utilisation des agents conversationnels sur l’être humain et la société. Tous les acteurs de la société doivent rester vigilants quant aux effets futurs des agents conversationnels sur les croyances, opinions et décisions des utilisateurs, notamment des effets de masse, et éviter de considérer cette technologie comme neutre ou dépourvue de signification éthique et politique.

Étudier l’impact environnemental des agents conversationnels

Les autorités publiques et les acteurs privés doivent mener des études sur l’impact énergétique et environnemental de la technologie des agents conversationnels.

Développer les méthodologies « éthique par conception » pour les chatbots

Les autorités publiques doivent soutenir des recherches afin d’élaborer des méthodologies « éthique par conception » adaptées au développement des agents conversationnels.

Reproductibilité des propos des agents conversationnels

La reproductibilité nécessite de mémoriser les données, mais aussi de définir la bonne mesure de répétition dans les propos du chatbot. Ces questions doivent être étudiées.

Étudier les effets des chatbots sur le comportement émotionnel des êtres humains

Dans le domaine émergeant des agents conversationnels empathiques, les concepteurs doivent développer des recherches et réaliser des analyses de risque relatives aux répercussions éventuelles de ces systèmes sur le comportement émotionnel de l’utilisateur humain, notamment sur le long terme.

Développer des méthodes d’évaluation adaptées aux agents conversationnels

Les autorités publiques et les acteurs privés doivent soutenir des recherches sur l’évaluation des agents conversationnels pendant leur utilisation et proposer de nouveaux tests adaptés au contexte d’utilisation.

Etudier les capacités des réseaux de neurones de type transformeur pour le dialogue

Au vu de leurs capacités de traitement et de génération de langage, il est nécessaire de soutenir des recherches sur les agents conversationnels utilisant les réseaux de neurones de type transformeur, notamment pour l’évaluation de leur conformité aux valeurs éthiques.

Le Comité national pilote d’éthique du numérique

Le Comité national pilote d’éthique du numérique (CNPEN) a été créé en décembre 2019 à la demande du Premier ministre. Constitué de 27 membres, ce comité réunit des spécialistes du numérique, des philosophes, des médecins, des juristes et des membres de la société civile.

Dans sa lettre du 15 juillet 2019 donnant mission au président du CCNE de mettre en œuvre une démarche pilote concernant les questions d’éthique des sciences, technologies, usages et innovations du numérique et de l’intelligence artificielle, le Premier ministre a souhaité que les travaux conduits dans cette phase pilote concernent en particulier le diagnostic médical et l’intelligence artificielle, les agents conversationnels ainsi que le véhicule autonome.

Le Comité national pilote d’éthique du numérique (CNPEN) a rendu un avis les enjeux éthiques liés au véhicule autonome

Il s’est autosaisi au sujet des enjeux éthiques que soulève l’utilisation de technologies de reconnaissance automatique (faciale, posturale, comportementale). Il a ouvert, à cette fin, une consultation ouverte aux citoyens et à toutes les parties sur ces questions. Cet avis devrait être rendu public dans le courant de l’année 2022.

A la suite de ses travaux sur les enjeux d’éthique du véhicule autonome, de la télémédecine, de la désinformation, le CNPEN a élaboré et rendu public un Manifeste pour une éthique du numérique.

Programme Société Numérique

Le Programme Société Numérique de l’Agence Nationale de la Cohésion des Territoires est une mission d’appui aux collectivités et aux acteurs de proximité sur les questions liées au numérique. Il met en œuvre un programme d’actions pour favoriser l’autonomie et la capacité de tous à saisir les opportunités du numérique et favoriser le développement numérique des territoires. Il pilote la stratégie nationale pour un numérique inclusif du Gouvernement.

Articles en lien

Éclairages 23.10.2019
Actualités 05.06.2020
Éclairages 28.11.2018
Éclairages 06.12.2018