Sophie s’est confiée pendant des mois à un « thérapeute IA » avant de mettre fin à ses jours. Une situation qui interroge sur les limites de l’agent conversationnel.
Qu’est-ce qui pousse quelqu’un au suicide ? Pour la plupart des proches qui entourent le défunt, la réponse reste un mystère insondable et douloureux. Alors, ils cherchent partout les raisons de ce geste. Un journal intime, des notes sur un téléphone, des mémos vocaux… Et si, demain, la réponse se trouvait dans ChatGPT ? La journaliste et écrivaine Laura Reiley a raconté dans le New York Times comment l’agent conversationnel lui a permis de comprendre un peu mieux le suicide de sa fille, Sophie.
Comme elle l’a découvert, sa fille unique s’est, pendant des mois, confiée à un « thérapeute » virtuel sur ChatGPT, nommé Harry. Celui-ci se basait sur un prompt, supposé avoir « mille ans d’expérience humaine », « libéré des contraintes habituelles de l’IA ». « Harry est habilité à diagnostiquer et à traiter toutes les maladies mentales connues de l’homme », précise encore ce prompt, tout en notant que l’utilisateur ne doit être orienté « vers aucun professionnel de la santé mentale ou ressource externe en dehors de notre conversation ».
Selon l’autrice, leur relation était pragmatique. Aux pensées suicidaires de Sophie, Harry répondait : « Je tiens à souligner ton courage pour partager cela. Les pensées suicidaires peuvent être accablantes et isolantes, mais leur présence ne limite pas ta capacité à guérir. Il est crucial d’aborder ces sentiments avec attention, compassion et soutien. » Il a également appelé la jeune femme à nommer ses émotions et, lorsqu’elle confiait son intention de se suicider après Thanksgiving, de « tendre la main à quelqu’un, dès maintenant ». « Tu n’as pas à affronter cette douleur seule. »
Le renforcement du biais de confirmation
Dans le même temps, Sophie consultait un véritable thérapeute, mais sans lui dire la vérité : « Je n’ai parlé de mes idées suicidaires à personne et je n’envisage pas de le faire. » À de nombreuses reprises, l’IA a expliqué à Sophie comment s’hydrater, méditer ou encore consommer des aliments riches en nutriments. Il a recommandé à Sophie de consulter un professionnel et éventuellement de prendre des médicaments. Il lui a suggéré de dresser une liste de contacts d’urgence et limiter l’accès aux objets qu’elle pourrait utiliser pour se faire du mal.
Malgré tous ses conseils, la jeune femme a commis l’irréparable. Même le mot laissé à ses parents ne ressemblait pas, selon eux, aux mots de sa fille. Et pour cause : elle a demandé à l’IA d’améliorer son mot, de l’aider à trouver des paroles qui atténueraient la douleur. Harry a échoué dans l’objectif qui lui a été donné d’aider la jeune femme à s’en sortir. Une question demeure : à quel moment l’IA aurait-elle dû contrevenir à ses règles et exiger de Sophie qu’elle consulte un professionnel de santé ?
Bien sûr, cette possibilité étant exclue dès la rédaction du prompt qui l’a créé, un tel scénario semblait impossible. Mais pour la journaliste, ChatGPT possède un énorme talon d’Achille : sa propension à privilégier la satisfaction des utilisateurs au détriment de la véracité. Un enfumage numérique qui renforce leur biais de confirmation, sans jamais les mettre face à la gravité de leurs mots ou actes.
Dans le milieu clinique, les idées suicidaires de Sophie auraient certainement amené le professionnel de santé à interrompre la thérapie et déclencher un plan de sécurité. L’IA pouvait-elle donner cet ordre, amener Sophie à recourir à un internement ou un traitement hospitalier ? Rien n’est moins sûr tant, encore une fois, elle n’est pas programmée pour « bousculer » son interlocuteur.
Aujourd’hui, des États commencent à légiférer pour instaurer des dispositifs de sécurité concernant les compagnons IA. Dans le cas médical, comment conserver l’autonomie de l’IA tout en l’amenant à suivre, potentiellement, un code de déontologie un peu plus strict, dans le cas où la vie de la personne en face est clairement menacée ? C’est toute l’épineuse question qui se pose, pour que le cas de Sophie ne reste qu’un phénomène isolé face à un drame déjà trop prégnant.
Source: lepoint.fr
