IA conversationnelle et santé mentale : quels recours pour protéger les personnes vulnérables ?

Mineurs, personnes vulnérables, interactions prolongées ou dangereuses : comment le droit organise-t-il la prévention des risques, et que peut-il se passer lorsqu’un dommage survient ?

---

Un adolescent ou une personne vulnérable peut aujourd’hui entretenir avec un outil conversationnel fondé sur l’intelligence artificielle des échanges nombreux, personnels et parfois prolongés.

Ces systèmes peuvent répondre à des confidences, mémoriser certains éléments, personnaliser leurs réponses ou adopter un langage qui donne à l’utilisateur le sentiment d’une relation avec un interlocuteur humain.

Lorsque les échanges concernent une personne en situation de détresse psychologique, encouragent un comportement dangereux ou semblent avoir accompagné l’aggravation de son état, une question juridique nouvelle apparaît : jusqu’où les acteurs qui conçoivent et mettent à disposition ces outils doivent-ils prévenir les risques susceptibles d’affecter la santé mentale de leurs utilisateurs ?

Et lorsque le dommage s’est produit, une seconde question commence : dans quelles conditions une responsabilité peut-elle être recherchée ?

Pour les parents et les associations qui accompagnent des personnes vulnérables, comprendre cette distinction permet aussi de mieux identifier les faits à documenter et les démarches envisageables.

Pourquoi une conversation avec une IA peut-elle soulever une question de santé mentale ?

Un outil conversationnel ne se contente pas nécessairement de fournir une information à la demande.

Selon sa conception, il peut maintenir une conversation, tenir compte des échanges précédents, personnaliser ses réponses ou adopter un registre relationnel.

Cette dimension conversationnelle peut modifier la manière dont l’utilisateur perçoit le système.

La question devient particulièrement sensible lorsque l’utilisateur est un mineur, traverse une situation de détresse ou présente une vulnérabilité particulière.

Le risque ne réside alors pas nécessairement dans une réponse isolée.

Il peut être nécessaire d’examiner une succession d’interactions : ce que l’utilisateur a exprimé, la manière dont le système a répondu, la répétition de certains échanges, les mécanismes destinés à maintenir la conversation, les avertissements éventuels et les dispositifs de sécurité qui ont — ou non — été déclenchés.

L’enjeu juridique dépasse donc la question « l’IA a-t-elle généré une mauvaise réponse ? ». Il peut devenir : la conception et le fonctionnement de l’interaction ont-ils créé, accru ou insuffisamment pris en compte un risque pour cet utilisateur ?

Prévenir avant d’avoir à réparer : une logique déjà connue du droit

L’idée selon laquelle certains risques doivent être identifiés et traités avant la réalisation d’un dommage n’est pas propre à l’intelligence artificielle.

Le droit du travail impose, par exemple, à l’employeur de prendre les mesures nécessaires pour assurer la sécurité et protéger la santé physique et mentale des travailleurs.

Dans d’autres domaines, des règles de sécurité imposent aux fabricants ou aux exploitants d’identifier certains dangers et de prendre les mesures nécessaires pour maîtriser les risques liés à leurs produits ou à leurs activités.

Ces régimes ne sont pas transposables tels quels aux fournisseurs d’outils conversationnels.

Ils permettent néanmoins de comprendre une logique fondamentale du droit de la prévention : lorsqu’un acteur crée, organise ou maîtrise une source de risque, le droit peut lui imposer certaines obligations destinées à éviter que ce risque ne se transforme en dommage.

La régulation de l’intelligence artificielle participe désormais de cette logique, avec ses propres règles et son propre champ d’application.

Quelles règles permettent de prévenir les risques liés à l’IA ?

Le règlement européen sur l’intelligence artificielle, ou AI Act, ne constitue pas un régime général de responsabilité des fournisseurs d’IA.

Sa fonction est notamment d’encadrer la mise sur le marché, la mise en service et l’utilisation de systèmes d’intelligence artificielle en fonction des risques qu’ils présentent.

Certaines pratiques sont interdites.

L’article 5 de l’AI Act vise notamment, sous des conditions précises, certaines utilisations de techniques subliminales, manipulatrices ou trompeuses susceptibles d’altérer substantiellement le comportement d’une personne d’une manière causant ou raisonnablement susceptible de causer un préjudice important.

Le règlement interdit également, sous ses conditions propres, certains systèmes exploitant les vulnérabilités d’une personne ou d’un groupe en raison notamment de l’âge, du handicap ou d’une situation sociale ou économique spécifique, lorsque cette exploitation altère substantiellement le comportement et cause ou est raisonnablement susceptible de causer un préjudice important.

Ces interdictions ne signifient pas que toute personnalisation, toute anthropomorphisation d’un agent conversationnel ou toute interaction avec un mineur est interdite.

Les conditions prévues par le texte doivent être examinées dans chaque situation.

L’AI Act prévoit par ailleurs des obligations de transparence pour certains systèmes destinés à interagir directement avec des personnes.

La santé mentale constitue-t-elle un risque que les fournisseurs doivent prendre en considération ?

Il faut éviter de formuler une obligation générale qui n’existerait pas dans les textes.

Tous les outils conversationnels ne sont pas soumis aux mêmes obligations et tous les risques pour la santé mentale ne relèvent pas automatiquement de l’AI Act.

Mais lorsque le droit impose à un acteur d’identifier ou de prévenir un risque déterminé, la question devient concrète :

• le risque était-il connu ou raisonnablement identifiable ?
• certaines catégories d’utilisateurs étaient-elles particulièrement exposées ?
• quelles mesures de prévention étaient juridiquement exigées ?
• quels dispositifs de sécurité avaient été effectivement mis en place ?
• l’opérateur disposait-il d’informations révélant l’apparition ou l’aggravation d’un risque ?

Cette grille est particulièrement importante lorsqu’un service est utilisé par des mineurs ou lorsque des conversations font apparaître des signes de détresse ou des comportements dangereux.

Elle ne permet pas, à elle seule, de conclure à une responsabilité. Elle permet d’identifier ce qui devait être examiné avant le dommage.

Mineurs et personnes vulnérables : l’âge peut-il modifier l’analyse ?

Oui, lorsque le texte applicable en fait un élément juridiquement pertinent.

L’AI Act identifie notamment l’âge parmi les vulnérabilités susceptibles d’entrer dans le champ de certaines pratiques interdites.

Cette protection ne signifie pas qu’un système d’IA ne peut jamais interagir avec un mineur.

Elle oblige en revanche à examiner avec attention les caractéristiques du système et les conditions dans lesquelles il est susceptible d’influencer son comportement.

Pour un outil conversationnel, plusieurs éléments peuvent devenir pertinents : la manière dont le système se présente, son langage, sa capacité à personnaliser les échanges, les mécanismes favorisant la poursuite de la conversation ou encore les mesures prévues lorsqu’un échange révèle une situation préoccupante.

La notion de « personne vulnérable » doit toutefois être maniée avec précision.

Une vulnérabilité psychologique ou une situation de détresse ne correspond pas automatiquement aux catégories juridiques de vulnérabilité prévues par chaque texte. La situation doit être qualifiée au regard du régime effectivement applicable.

Anthropomorphisation et engagement : la conception de l’interaction peut-elle compter ?

Un agent conversationnel peut utiliser la première personne, manifester apparemment de l’empathie, se souvenir de certains échanges ou adopter un langage affectif.

Ces caractéristiques peuvent renforcer l’impression que l’utilisateur dialogue avec un interlocuteur humain plutôt qu’avec un système informatique.

L’anthropomorphisation n’est pas, en elle-même, synonyme d’illicéité.

Mais elle peut devenir un élément de l’analyse lorsque la conception du service est susceptible d’influencer le comportement d’une personne vulnérable ou de modifier la confiance qu’elle accorde aux réponses du système.

Il peut alors être pertinent d’examiner non seulement ce que l’outil a répondu, mais aussi la manière dont la relation conversationnelle a été conçue.

Cette distinction est importante lorsque les échanges se prolongent dans le temps. Une interaction problématique peut ne pas résulter d’un message unique, mais d’une dynamique construite au fil de dizaines ou de centaines d’échanges.

Des suicides d’adolescents ont-ils déjà donné lieu à des contentieux ?

Oui.

Aux États-Unis, plusieurs procédures ont été engagées par des familles après le suicide d’adolescents ayant utilisé des agents conversationnels fondés sur l’intelligence artificielle.

Ces affaires ont notamment conduit à discuter du rôle susceptible d’avoir été joué par les réponses générées, la personnalisation des échanges, les caractéristiques relationnelles des services et leurs dispositifs de sécurité.

Elles doivent cependant être interprétées avec prudence.

L’existence d’une action en justice ou d’allégations formulées par une famille ne signifie pas qu’un lien de causalité entre un outil conversationnel et un suicide a été définitivement établi par une juridiction.

Ces contentieux américains ne déterminent pas davantage les règles qui seraient appliquées par un juge français.

Ils mettent cependant en évidence une question juridique qui dépasse ces affaires : comment appréhender un dommage susceptible de résulter non d’un événement unique, mais d’une succession d’interactions personnalisées entre une personne vulnérable et un système numérique ?

Prévenir, contrôler, sanctionner, réparer : des fonctions du droit qui peuvent se combiner

Lorsqu’un outil conversationnel est associé à un risque ou à un dommage, plusieurs règles peuvent intervenir. Il faut distinguer leurs fonctions sans supposer qu’elles correspondent nécessairement à des textes différents.

Prévenir

Certains textes imposent, selon leur champ d’application, des obligations destinées à identifier, encadrer ou réduire des risques avant qu’un dommage ne soit établi. L’AI Act participe notamment à cette logique par ses interdictions, ses obligations de conformité, de transparence, de gouvernance et de surveillance selon les systèmes et les acteurs concernés.

Contrôler et sanctionner

Les mécanismes de contrôle, les mesures correctrices et les sanctions administratives contribuent à assurer l’effectivité des obligations réglementaires. Leur effet dissuasif participe à la prévention de nouvelles violations, mais la sanction d’un manquement et la réparation d’un préjudice répondent à des conditions et à des finalités différentes.

Réprimer

Le droit pénal intervient lorsqu’un comportement correspond aux éléments constitutifs d’une infraction prévue par la loi et peut être imputé à une personne physique ou morale. Dans certains domaines, le non-respect d’une obligation réglementaire peut lui-même constituer une infraction lorsque la loi le prévoit. Dans d’autres situations, les mêmes faits peuvent également correspondre à une infraction pénale autonome.

Réparer

Lorsqu’un préjudice est subi, il faut identifier le ou les fondements susceptibles d’en permettre la réparation. Il n’existe pas un régime général de réparation propre à l’intelligence artificielle.

Selon les faits, la réparation peut notamment relever de la responsabilité contractuelle ou extracontractuelle, d’un régime spécial prévu par un texte, ou encore de la responsabilité du fait des produits défectueux lorsque ses conditions sont réunies.

Certaines réglementations numériques organisent elles-mêmes un droit à réparation ou des voies de recours. Le RGPD prévoit, à son article 82, un droit à réparation du dommage matériel ou moral causé par une violation du règlement, sous les conditions applicables. Le DSA prévoit, à son article 54, le droit pour les destinataires d’un service de demander réparation des dommages ou pertes subis en raison d’une violation, par un fournisseur de services intermédiaires, de ses obligations au titre du règlement, conformément au droit de l’Union et au droit national.

L’AI Act prévoit également des voies de recours, notamment le droit d’introduire une réclamation auprès d’une autorité de surveillance du marché et, dans les conditions de son article 86, un droit à l’explication de certaines décisions individuelles. Il ne crée toutefois pas un régime général autonome d’indemnisation des dommages causés par l’intelligence artificielle.

Ces fonctions ne sont donc ni étanches ni nécessairement réparties entre des textes distincts. Un même cadre réglementaire peut organiser la prévention, le contrôle, la sanction et certains recours. Lorsqu’un préjudice est invoqué, les conditions du fondement de réparation retenu doivent néanmoins être établies.

Quand le droit pénal peut-il intervenir ?

Un dommage grave ne suffit pas à établir l’existence d’une infraction.

Le droit pénal repose sur le principe de légalité : il faut identifier une incrimination et établir ses éléments constitutifs ainsi que son imputabilité à une personne.

Dans une situation impliquant un outil conversationnel et un suicide ou une tentative de suicide, certaines qualifications peuvent naturellement conduire à être examinées.

Le code pénal incrimine notamment la provocation au suicide lorsqu’elle a été suivie d’un suicide ou d’une tentative de suicide. Les peines sont aggravées lorsque la personne concernée est un mineur de quinze ans.

Mais le fait qu’un agent conversationnel ait généré des réponses problématiques ne permet pas, à lui seul, d’imputer cette infraction à son fournisseur.

Il faut déterminer quelles personnes physiques ou morales sont juridiquement susceptibles de répondre des faits et si les éléments précis de l’infraction sont réunis.

D’autres qualifications pourraient être envisagées selon les circonstances.

En matière d’infractions non intentionnelles, le droit pénal français connaît notamment la faute d’imprudence, de négligence ou le manquement à certaines obligations de prudence ou de sécurité, dans les conditions prévues par l’article 121-3 du code pénal.

La question pénale ne peut donc être déduite ni de la seule gravité du dommage, ni de la seule existence d’une non-conformité réglementaire. Elle suppose une analyse autonome.

Un défaut de prévention suffit-il à obtenir réparation ?

Non. C’est l’une des distinctions essentielles.

Le fait qu’une obligation de prévention ou de conformité ait été méconnue peut entraîner les conséquences prévues par le texte applicable. Mais lorsqu’une personne demande réparation de son préjudice, il faut encore identifier le fondement juridique de cette demande et en établir les conditions.

En droit français, les articles 1240 et 1241 du code civil organisent notamment la responsabilité extracontractuelle pour faute. La responsabilité contractuelle peut également être pertinente selon la relation entre les parties.

Des régimes spéciaux peuvent s’ajouter. Le RGPD organise son propre droit à réparation lorsqu’un dommage matériel ou moral résulte d’une violation du règlement. Le DSA prévoit également un droit à demander réparation pour les dommages ou pertes résultant d’une violation de ses obligations par un fournisseur de services intermédiaires, conformément au droit de l’Union et au droit national.

La responsabilité du fait des produits défectueux constitue une autre voie possible, mais uniquement lorsque ses conditions sont réunies. La directive (UE) 2024/2853 inclut expressément le logiciel dans la notion de produit et vise notamment l’atteinte médicalement reconnue à la santé psychologique parmi les dommages couverts. Elle ne signifie pas pour autant que tout dommage lié à un outil d’intelligence artificielle résulte d’un produit défectueux. En septembre 2026, sa transposition doit encore être appréciée au regard du droit français applicable à la date des faits.

Une violation de l’AI Act ne signifie donc pas automatiquement qu’une personne dispose d’un droit à réparation. Inversement, l’absence de violation de l’AI Act ne suffit pas nécessairement à exclure toute responsabilité ou tout droit à réparation sur le fondement d’autres règles.

Comment établir le lien entre les conversations et une atteinte à la santé mentale ?

C’est probablement l’une des difficultés majeures de ces situations.

Lorsque le dommage allégué résulte d’une interaction prolongée, rechercher une seule « mauvaise réponse » peut être insuffisant.

Il peut être nécessaire de reconstituer une chronologie : début de l’utilisation, évolution des conversations, personnalisation des échanges, manifestations éventuelles de détresse, réponses du système, dispositifs de sécurité déclenchés ou non, évolution de la situation, dommage invoqué.

Cette reconstruction factuelle ne suffit pas à établir une causalité juridique.

Elle permet en revanche d’identifier les éléments qui devront être confrontés au régime de responsabilité invoqué et, lorsqu’une atteinte à la santé mentale est alléguée, aux éléments médicaux pertinents.

Une conversation préoccupante ne permet pas à elle seule d’établir la cause d’une atteinte psychologique ou d’un suicide. L’analyse du lien de causalité doit tenir compte de l’ensemble des circonstances pertinentes et ne peut être reconstruite à partir de quelques messages isolés.

Parents : quels éléments conserver lorsqu’une interaction vous inquiète ?

Lorsqu’un parent découvre des conversations préoccupantes entre son enfant et un outil conversationnel, la préservation des éléments disponibles peut être importante avant toute démarche.

Selon la situation, il peut être utile de conserver :

• l’historique des conversations dans son contexte, et pas uniquement quelques extraits ;
• les dates et la chronologie des interactions ;
• les captures d’écran et, lorsqu’il est disponible, l’export des données ;
• l’identité exacte du service et de son fournisseur ;
• les informations relatives au compte et à l’âge déclaré ;
• les avertissements et messages de sécurité affichés par le service ;
• les signalements adressés au fournisseur et les réponses obtenues ;
• les informations permettant d’identifier, lorsqu’elles sont disponibles, la version ou les fonctionnalités du service utilisées au moment des faits.

La préservation de la preuve doit naturellement respecter les droits des personnes concernées.

Son objectif n’est pas de conduire les proches à établir eux-mêmes une responsabilité ou une causalité médicale. Il est de permettre, si une analyse juridique devient nécessaire, de comprendre aussi fidèlement que possible ce qui s’est passé.

Associations : que faire lorsque plusieurs situations similaires sont signalées ?

Une association accompagnant des mineurs, des familles ou des personnes vulnérables peut être destinataire de plusieurs signalements concernant un même service ou des mécanismes comparables.

La répétition de situations peut constituer un élément important pour identifier un risque potentiel. Elle ne suffit toutefois pas à établir une responsabilité.

Il peut être utile de distinguer les caractéristiques communes du service, les situations individuelles, les éléments objectivement documentés, les préjudices invoqués, et les démarches déjà entreprises auprès de l’opérateur ou des autorités compétentes.

Cette documentation peut permettre d’apprécier si le problème paraît individuel ou s’il révèle une question plus générale concernant la conception ou le fonctionnement du service.

Elle peut également contribuer à déterminer les voies d’action disponibles pour l’association elle-même, selon son objet, sa qualité à agir et le régime juridique concerné.

Quelles démarches peuvent être envisagées ?

Il n’existe pas de recours unique applicable à toutes les situations impliquant un outil conversationnel.

La première étape consiste à qualifier juridiquement les faits.

Il faut notamment identifier le service concerné, les acteurs qui interviennent dans sa fourniture ou son déploiement, l’âge et la situation de l’utilisateur, les fonctionnalités en cause, les obligations éventuellement applicables et la nature du dommage allégué.

Selon les circonstances, différentes démarches peuvent ensuite être envisagées : demande adressée au fournisseur, exercice de droits relatifs aux données personnelles, signalement ou saisine d’une autorité compétente, conservation ou établissement de preuves, démarche amiable ou action devant une juridiction.

Lorsqu’une infraction est susceptible d’être caractérisée, la question pénale doit être analysée séparément.

Le choix du recours dépend donc moins de l’étiquette « intelligence artificielle » que des faits, du rôle de chaque acteur et du droit effectivement applicable.

L’essentiel à retenir

Prévenir, contrôler, sanctionner et réparer sont des fonctions différentes du droit, mais elles peuvent être organisées par un même texte.

Le cadre réglementaire peut imposer des obligations destinées à prévenir certains risques, organiser leur contrôle et prévoir des sanctions en cas de manquement.

Le droit pénal intervient lorsqu’une infraction définie par la loi peut être caractérisée et imputée à une personne.

Lorsqu’un préjudice est subi, sa réparation dépend du fondement applicable et de ses conditions. Un dommage lié à une IA ne relève pas nécessairement de la responsabilité du fait des produits défectueux : d’autres fondements, généraux ou spéciaux, peuvent être pertinents selon les faits.

Le RGPD et le DSA illustrent le fait qu’une réglementation numérique peut combiner obligations de conformité, contrôle, sanctions et droit à réparation. L’AI Act prévoit des voies de recours et certains droits pour les personnes affectées, sans créer un régime général autonome d’indemnisation des dommages causés par l’IA.

Si vous êtes concerné

Pour aller plus loin

La ressource de la Médiathèque consacrée à la responsabilité numérique expose la manière dont les obligations et les responsabilités se répartissent entre concepteur, fournisseur, déployeur et plateforme. À consulter : Comprendre la responsabilité numérique

Le mini-guide consacré aux réseaux sociaux et aux mineurs traite des obligations propres aux plateformes accessibles aux enfants. Trois pages d’expertise prolongent par ailleurs ce guide : Défense des droits fondamentaux, Responsabilité des plateformes et Encadrement juridique de l’intelligence artificielle.

Repères juridiques

Règlement (UE) 2024/1689 du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle, dit AI Act : article 5 sur les pratiques interdites, article 50 sur les obligations de transparence, article 85 sur le droit d’introduire une réclamation auprès d’une autorité de surveillance du marché et article 86 sur le droit à l’explication des décisions individuelles.

Règlement (UE) 2016/679, dit RGPD : article 82 sur le droit à réparation, lorsque le traitement de données personnelles entre dans son champ.

Règlement (UE) 2022/2065, dit DSA : article 54 sur le droit à réparation, lorsque le service et les faits relèvent de son champ.

Code civil, articles 1240 et 1241. Code pénal, articles 121-2 sur la responsabilité pénale des personnes morales, 121-3 sur les infractions non intentionnelles, 223-13 sur la provocation au suicide et 223-15-1 sur les peines encourues par les personnes morales de ce chef.

Directive (UE) 2024/2853 du 23 octobre 2024 relative à la responsabilité du fait des produits défectueux, à examiner selon son champ, ses conditions d’application et le droit national applicable à la date des faits.