La diffusion croissante d’agents conversationnels,  appelés aussi chatbots, capables de dialogue vocal ou écrit, soulève des questionnements d’ordre juridique, technique mais aussi éthiques.

• Présents à travers une diversité d’artefacts, les chatbots sont déjà déployés dans le domaine de la santé, de l’aide aux personnes vulnérables, du recrutement, du service après- vente, de l’éducation, des banques, des assurances et dans bien d’autres encore, pour rendre de nombreux services aux utilisateurs.
• Dans le domaine de la santé, par exemple, les agents conversationnels sont utilisés pour le diagnostic, la surveillance ou encore l’assistance aux patients.
• Leur déploiement dans les entreprises vise à supprimer des tâches répétitives, améliorer l’interaction avec les clients et réduire les coûts.
• Le déploiement des agents conversationnels peut aussi avoir des visées éducatives ou ludiques.

Un agent conversationnel (appelé aussi chatbot), rappelle le CNPEN, « est une machine qui, à travers des échanges écrits ou oraux, interagit avec son utilisateur en langage naturel. Le plus souvent, un agent conversationnel ne constitue pas une entité indépendante mais est intégré dans un système ou une plateforme numérique multitâche, comme un smartphone ou un robot ».

Vers une « informatique affective »

Cinq dimensions éthiques pour la conception des agents conversationnels

• Statut des agents conversationnels
• Identité des agents conversationnels
• Malmener un agents conversationnel
• Manipulation par un agents conversationnel
• Les agents conversationnels et les personnes vulnérables
• Le travail et les agents conversationnels
• les agents conversationnels et la mémoire des morts
• Effets à long terme des agents conversationnels

• éthique par conception
• biais et non-discrimination
• transparence, reproductibilité, interprétabilité et explicabilité
• interaction affective avec l’être humain et adaptation automatique
• évaluation des agents conversationnels

Cet avis s’adresse :

• aux chercheurs en informatique qui doivent s’interroger sur leurs méthodologies de conception et d’évaluation des agents conversationnels
• aux industriels qui doivent prendre conscience des tensions d’éthique et de confiance, avec les conséquences qu’elles induisent sur le marché économique
• ainsi qu'aux autorités publiques qui doivent avoir la responsabilité d’accroître l’effort de formation et d’éducation, mais aussi d’évaluation des effets des agents conversationnels à court terme et des expérimentations à l’échelle de la société permettant de saisir leurs effets à long terme

Treize préconisations sur les usages

Pour réduire la projection spontanée de qualités morales sur l’agent conversationnel et l’attribution d’une responsabilité à ce système, le fabricant doit limiter sa personnification et informer l’utilisateur des biais éventuels issus de l’anthropomorphisation de l’agent conversationnel.

Toute personne qui communique avec un agent conversationnel doit être informée de manière adaptée, claire et compréhensible du fait qu'elle dialogue avec une machine.

Pour éviter les biais, notamment de genre, le choix par défaut des caractéristiques d’un agent conversationnel à usage public (nom, pronoms personnels, voix) doit être effectué de façon équitable à chaque fois que cela est possible. S’agissant des agents conversationnels personnels à usage privé ou domestique, l’utilisateur doit pouvoir modifier ces choix par défaut.

S’il est impossible d’exclure les situations où l’utilisateur profère des insultes envers un agent conversationnel, le fabricant doit les prévoir et définir des stratégies de réponse spécifiques. Notamment, l’agent conversationnel ne devrait pas répondre aux insultes par des insultes et ne pas les rapporter à une autorité. Le fabricant d’un agent conversationnel apprenant doit veiller à exclure de telles phrases du corpus d’apprentissage.

Dans l’hypothèse où l’agent conversationnel a été programmé de manière à pouvoir influencer le comportement de l’utilisateur dans le cadre de sa finalité, le fabricant doit informer l’utilisateur de l’existence de cette capacité et recueillir son consentement qu’il doit pouvoir à tout moment retirer. Le fabricant d’un agent conversationnel influenceur doit permettre aux utilisateurs d’être informés sur la nature, l'origine et les modalités de diffusion des contenus, et leur demander d’être vigilants avant de repartager ces contenus.

Le fabricant doit veiller à éliminer les manipulations malveillantes ou les menaces de la part de l’agent conversationnel. L’utilisateur doit avoir la capacité de signaler certaines expressions non souhaitées en vue d’une modification de l’agent conversationnel par le concepteur.

Dans le domaine ludique, tout particulièrement pour la petite enfance, les autorités publiques se doivent d’évaluer les conséquences des interactions avec des chatbots, susceptibles de modifier le comportement des enfants. Les autorités publiques doivent encadrer l’utilisation des agents conversationnels auprès d’enfants au regard de l’impact de cette interaction sur le développement langagier, émotionnel et culturel de l’enfant.

Dans le cas du dialogue entre un agent conversationnel et une personne vulnérable, le fabricant de l’agent conversationnel doit veiller à respecter la dignité et l’autonomie de cette personne. Notamment dans le domaine médical, il est nécessaire, dès l’étape de conception des agents conversationnels, d’éviter la confiance excessive en ces systèmes de la part du patient et de veiller à lever la confusion entre l’agent conversationnel et le médecin qualifié.

Dans les cas de couplage des agents conversationnels avec des mesures physiologiques (« quantified self »), les concepteurs doivent mener des analyses portant sur les risques de dépendance. Les autorités publiques doivent encadrer l’utilisation de ces systèmes au regard de leur impact sur l’autonomie de la personne.

Le fabricant doit prévoir des mécanismes de contrôle et d’au- dit afin de faciliter l’attribution de responsabilités au regard du bon fonctionnement ou du dysfonctionnement de l’agent conversationnel dans le milieu professionnel, notamment étu-dier leurs effets secondaires ou non-intentionnels.

À la suite d’une réflexion éthique approfondie à l’échelle de toute la société, le législateur doit adopter une réglementation spécifique concernant les agents conversationnels qui imitent la parole des personnes décédées.

Les concepteurs de « deadbots » doivent respecter la dignité de la personne humaine qui ne s’éteint pas avec la mort, tout en veillant à préserver la santé mentale des utilisateurs de tels agents conversationnels. Des règles doivent être définies et respectées concernant notamment le consentement de la personne décédée, le recueil et à la réutilisation de ses don- nées, le temps de fonctionnement d’un tel chatbot, le lexique utilisé, le nom qui lui est attribué ou encore les conditions particulières de son utilisation.

Les autorités publiques doivent encadrer l’utilisation des agents conversationnels de type « ange gardien », qui sont capables de protéger les données d’une personne, afin de limiter le paternalisme et respecter l’autonomie humaine.

Dix principes de conception des chatbots

Les concepteurs d’un agent conversationnel doivent analyser, en phase de conception, chacun des choix technologiques susceptibles de provoquer des tensions éthiques. Si une ten- sion potentielle est identifiée, ils doivent envisager une solu- tion technique visant à diminuer ou à faire disparaître la ten- sion éthique, puis évaluer cette solution dans des contextes d’usage réalistes.

Pour réduire les biais dans le langage et tenter d’éviter les effets de discrimination, notamment culturels, les concep- teurs doivent mettre en œuvre une solution technique à trois niveaux : dans la mise en œuvre de l’algorithme, dans la sé- lection des paramètres d’optimisation et dans le choix des données d’apprentissage et de validation pour les différents modules des agents conversationnels.

Le concepteur doit veiller à ce qu’un agent conversationnel communique sa finalité à l’utilisateur de manière claire et aisément compréhensible au moment adéquat, par exemple au début ou à la fin de chaque conversation.

L’agent conversationnel devrait pouvoir sauvegarder le contenu du dialogue à des fins de preuve en cas de litige. Cela introduit une tension entre les données privées et celles sauvegardées pour assurer la transparence des décisions du chatbot. L’architecture des chatbots, les connaissances utilisées et les stratégies de dialogue doivent être accessibles à toutes les parties concernées, notamment afin de faciliter le traitement d’éventuels problèmes juridiques. Cette préconisation pourrait déboucher sur une mesure d’ordre réglementaire définissant les conditions précises de son application.

À l’image de l’encadrement existant des données de santé, il est nécessaire d’élaborer des règles éthiques et juridiques pour la collecte, le stockage et l’utilisation des traces linguistiques des interactions entre les agents conversationnels dans le respect du rgpd.

Dans un souci de transparence, l’utilisateur doit être informé de manière adaptée, claire et compréhensible, oralement ou par écrit, de la collecte des données, des capacités de l’agent conversationnel liées à l’adaptation aux données qu’il collecte en cours d’utilisation et au profilage.

Les concepteurs doivent développer des solutions favorisant la compréhension par les utilisateurs du comportement des agents conversationnels.

Pour réduire la projection spontanée d’émotions sur l’agent conversationnel et l’attribution d’une intériorité à ce système, le fabricant devrait respecter la proportionnalité et l’adéquation entre les finalités recherchées et le déploiement des technologies d’informatique affective, notamment la détection du comportement émotionnel des personnes et l’empathie artificielle du chatbot. Il doit également informer l’utilisateur des biais éventuels de l’anthropomorphisme.

Les concepteurs des chatbots devraient adapter les agents conversationnels aux codes culturels d’expression des émotions dans différentes parties du monde.

Dans leur communication sur les agents conversationnels émotionnels, les concepteurs doivent veiller à expliquer les limites et les capacités réelles de ces systèmes aux utilisateurs pour ne pas donner prise à des surinterprétations de ces simulations affectives.

Onze questions de recherche

Il est nécessaire de développer des méthodes de caractérisation automatique par les agents conversationnels de propos non désirables, notamment des insultes.

Il est nécessaire d’étudier des méthodes pour soustraire l’agent conversationnel à la projection de qualités morales à travers une mise en récit de ses actions explicitement différente de celle qui caractérise les mensonges proférés par les êtres humains.

Dans le domaine de l’éducation, tout particulièrement pour les enfants vulnérables et pour la petite enfance, les autorités publiques se doivent d’évaluer les conséquences des interactions entre les élèves et le chatbot.

Les autorités publiques et les acteurs privés doivent soutenir des recherches empiriques sur les effets organisationnels de l’introduction d’agents conversationnels dans les équipes se- lon les secteurs professionnels.

Les autorités publiques et les acteurs privés doivent investir dans des recherches sur les effets à long terme et les conséquences de l’utilisation des agents conversationnels sur l’être humain et la société. Tous les acteurs de la société doivent rester vigilants quant aux effets futurs des agents conversationnels sur les croyances, opinions et décisions des utilisateurs, notamment des effets de masse, et éviter de considérer cette technologie comme neutre ou dépourvue de signification éthique et politique.

Les autorités publiques et les acteurs privés doivent mener des études sur l’impact énergétique et environnemental de la technologie des agents conversationnels.

Les autorités publiques doivent soutenir des recherches afin d’élaborer des méthodologies « éthique par conception » adaptées au développement des agents conversationnels.

La reproductibilité nécessite de mémoriser les données, mais aussi de définir la bonne mesure de répétition dans les propos du chatbot. Ces questions doivent être étudiées.

Dans le domaine émergeant des agents conversationnels empathiques, les concepteurs doivent développer des recherches et réaliser des analyses de risque relatives aux répercussions éventuelles de ces systèmes sur le comportement émotionnel de l’utilisateur humain, notamment sur le long terme.

Les autorités publiques et les acteurs privés doivent soutenir des recherches sur l’évaluation des agents conversationnels pendant leur utilisation et proposer de nouveaux tests adaptés au contexte d’utilisation.

Au vu de leurs capacités de traitement et de génération de langage, il est nécessaire de soutenir des recherches sur les agents conversationnels utilisant les réseaux de neurones de type transformeur, notamment pour l’évaluation de leur conformité aux valeurs éthiques.

Le Comité national pilote d’éthique du numérique

Dans sa lettre du 15 juillet 2019 donnant mission au président du CCNE de mettre en œuvre une démarche pilote concernant les questions d’éthique des sciences, technologies, usages et innovations du numérique et de l’intelligence artificielle, le Premier ministre a souhaité que les travaux conduits dans cette phase pilote concernent en particulier le diagnostic médical et l’intelligence artificielle, les agents conversationnels ainsi que le véhicule autonome.

Le Comité national pilote d’éthique du numérique (CNPEN) a rendu un avis les enjeux éthiques liés au véhicule autonome

Il s’est autosaisi au sujet des enjeux éthiques que soulève l’utilisation de technologies de reconnaissance automatique (faciale, posturale, comportementale). Il a ouvert, à cette fin, une consultation ouverte aux citoyens et à toutes les parties sur ces questions. Cet avis devrait être rendu public dans le courant de l’année 2022.

A la suite de ses travaux sur les enjeux d’éthique du véhicule autonome, de la télémédecine, de la désinformation, le CNPEN a élaboré et rendu public un Manifeste pour une éthique du numérique.

Références : 1 2 3