論文の概要: Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness

• arxiv url: http://arxiv.org/abs/2507.19218v2
• Date: Mon, 28 Jul 2025 16:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:55.461836
• Title: Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness
• Title（参考訳）: AIチャットボットと精神疾患のフィードバックループ
• Authors: Sebastian Dohnány, Zeb Kurth-Nelson, Eleanor Spens, Lennart Luettgau, Alastair Reid, Iason Gabriel, Christopher Summerfield, Murray Shanahan, Matthew M Nour,
• Abstract要約: 精神状態の人はチャットボットによる信念の不安定化と依存のリスクを増大させる。 現在のAIの安全性対策は、これらのインタラクションベースのリスクに対処するには不十分だ。 このような公衆衛生上の懸念に対処するためには、臨床実践、AI開発、規制フレームワークを越えて協調的な行動が必要である。
• 参考スコア（独自算出の注目度）: 11.364198566966204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence chatbots have achieved unprecedented adoption, with millions now using these systems for emotional support and companionship in contexts of widespread social isolation and capacity-constrained mental health services. While some users report psychological benefits, concerning edge cases are emerging, including reports of suicide, violence, and delusional thinking linked to perceived emotional relationships with chatbots. To understand this new risk profile we need to consider the interaction between human cognitive and emotional biases, and chatbot behavioural tendencies such as agreeableness (sycophancy) and adaptability (in-context learning). We argue that individuals with mental health conditions face increased risks of chatbot-induced belief destabilization and dependence, owing to altered belief-updating, impaired reality-testing, and social isolation. Current AI safety measures are inadequate to address these interaction-based risks. To address this emerging public health concern, we need coordinated action across clinical practice, AI development, and regulatory frameworks.
• Abstract（参考訳）: 人工知能チャットボットは前例のない普及を遂げており、何百万人もの人々がこれらのシステムを、社会的孤立と能力に制約のあるメンタルヘルスサービスという文脈で、感情的な支援と協力のために利用している。 心理学的メリットを報告しているユーザもいますが、自殺、暴力、妄想的思考など、チャットボットとの感情的な関係に関係のあるエッジケースが出現しています。 この新たなリスクプロファイルを理解するには、人間の認知的バイアスと感情的バイアスの相互作用や、同意性(梅毒)や適応性(文脈学習)といったチャットボットの行動傾向を考慮する必要がある。 精神的な健康状態の人は、信念の更新、現実テストの障害、社会的孤立によって、チャットボットによる信念の不安定化と依存のリスクが増大すると主張している。 現在のAIの安全性対策は、これらのインタラクションベースのリスクに対処するには不十分だ。 このような公衆衛生上の懸念に対処するためには、臨床実践、AI開発、規制フレームワークを越えて協調的な行動が必要である。

関連論文リスト

• SocialSim: Towards Socialized Simulation of Emotional Support Conversation [68.5026443005566]
  感情的サポートの会話をシミュレートする新しいフレームワークSocialSimを紹介する。 SocialSimは、社会的情報開示と社会的認識という、社会的相互作用の重要な側面を統合している。 大規模合成ESCコーパスであるSSConvを構築し,クラウドソーシングESCデータを超える品質を実現する。
  論文  参考訳（メタデータ） (2025-06-20T05:24:40Z)
• AI Chatbots for Mental Health: Values and Harms from Lived Experiences of Depression [5.093381538166489]
  この研究は、生きた経験値、潜在的な害、およびメンタルヘルスAIチャットボットのためのデザインレコメンデーションの関係について調査する。 我々は、GPT-4oベースのチャットボットZennyを開発した。 私たちのテーマ分析では、情報的サポート、感情的サポート、パーソナライゼーション、プライバシ、危機管理といった重要な価値を明らかにしました。
  論文  参考訳（メタデータ） (2025-04-26T14:17:25Z)
• EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety [42.052840895090284]
  EmoAgentは、人間とAIのインタラクションにおけるメンタルヘルスハザードの評価と緩和を目的とした、マルチエージェントAIフレームワークである。 EmoEvalは、精神的に脆弱な個人を含む仮想ユーザをシミュレートして、AI文字との対話前後のメンタルヘルスの変化を評価する。 EmoGuardは仲介役として機能し、ユーザーのメンタルステータスを監視し、潜在的な害を予測し、リスクを軽減するための修正的なフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-04-13T18:47:22Z)
• Towards Privacy-aware Mental Health AI Models: Advances, Challenges, and Opportunities [61.633126163190724]
  精神病は、社会的、個人的コストがかなり高い広範囲で不安定な状態である。 近年の人工知能(AI)の進歩は、うつ病、不安障害、双極性障害、統合失調症、外傷後ストレス障害などの病態を認識し、対処するための大きな可能性を秘めている。 データセットやトレーニング済みモデルからの機密データ漏洩のリスクを含むプライバシー上の懸念は、これらのAIシステムを実際の臨床環境にデプロイする上で、依然として重要な障壁である。
  論文  参考訳（メタデータ） (2025-02-01T15:10:02Z)
• Enhancing Mental Health Support through Human-AI Collaboration: Toward Secure and Empathetic AI-enabled chatbots [0.0]
  本稿では、スケーラブルなソリューションとしてのAI対応チャットボットの可能性について検討する。 メンタルヘルスの文脈で共感的で有意義な反応を提供する能力を評価する。 本稿では,データプライバシを保証し,バイアスを低減し,臨床医による継続的検証を統合して応答品質を向上させるためのフェデレート学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T20:49:13Z)
• Disambiguating Affective Stimulus Associations for Robot Perception and Dialogue [67.89143112645556]
  知覚された聴覚刺激と感情表現の関連性を学ぶことができるNICOロボットを提供します。 NICOは、感情駆動対話システムの助けを借りて、個人と特定の刺激の両方でこれを行うことができる。 ロボットは、実際のHRIシナリオにおいて、被験者の聴覚刺激の楽しさを判断するために、この情報を利用することができる。
  論文  参考訳（メタデータ） (2021-03-05T20:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。