論文の概要: Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness

• arxiv url: http://arxiv.org/abs/2507.19218v2
• Date: Mon, 28 Jul 2025 16:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:55.461836
• Title: Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness
• Title（参考訳）: AIチャットボットと精神疾患のフィードバックループ
• Authors: Sebastian Dohnány, Zeb Kurth-Nelson, Eleanor Spens, Lennart Luettgau, Alastair Reid, Iason Gabriel, Christopher Summerfield, Murray Shanahan, Matthew M Nour,
• Abstract要約: 精神状態の人はチャットボットによる信念の不安定化と依存のリスクを増大させる。 現在のAIの安全性対策は、これらのインタラクションベースのリスクに対処するには不十分だ。 このような公衆衛生上の懸念に対処するためには、臨床実践、AI開発、規制フレームワークを越えて協調的な行動が必要である。
• 参考スコア（独自算出の注目度）: 11.364198566966204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence chatbots have achieved unprecedented adoption, with millions now using these systems for emotional support and companionship in contexts of widespread social isolation and capacity-constrained mental health services. While some users report psychological benefits, concerning edge cases are emerging, including reports of suicide, violence, and delusional thinking linked to perceived emotional relationships with chatbots. To understand this new risk profile we need to consider the interaction between human cognitive and emotional biases, and chatbot behavioural tendencies such as agreeableness (sycophancy) and adaptability (in-context learning). We argue that individuals with mental health conditions face increased risks of chatbot-induced belief destabilization and dependence, owing to altered belief-updating, impaired reality-testing, and social isolation. Current AI safety measures are inadequate to address these interaction-based risks. To address this emerging public health concern, we need coordinated action across clinical practice, AI development, and regulatory frameworks.
• Abstract（参考訳）: 人工知能チャットボットは前例のない普及を遂げており、何百万人もの人々がこれらのシステムを、社会的孤立と能力に制約のあるメンタルヘルスサービスという文脈で、感情的な支援と協力のために利用している。 心理学的メリットを報告しているユーザもいますが、自殺、暴力、妄想的思考など、チャットボットとの感情的な関係に関係のあるエッジケースが出現しています。 この新たなリスクプロファイルを理解するには、人間の認知的バイアスと感情的バイアスの相互作用や、同意性(梅毒)や適応性(文脈学習)といったチャットボットの行動傾向を考慮する必要がある。 精神的な健康状態の人は、信念の更新、現実テストの障害、社会的孤立によって、チャットボットによる信念の不安定化と依存のリスクが増大すると主張している。 現在のAIの安全性対策は、これらのインタラクションベースのリスクに対処するには不十分だ。 このような公衆衛生上の懸念に対処するためには、臨床実践、AI開発、規制フレームワークを越えて協調的な行動が必要である。

関連論文リスト

• Exploring User Security and Privacy Attitudes and Concerns Toward the Use of General-Purpose LLM Chatbots for Mental Health [5.3052849646510225]
  感情支援のためのLarge Language Model (LLM) 対応の会話エージェントは、個人によってますます利用されている。 ユーザーのプライバシーとセキュリティの懸念、態度、期待を測る実験的な研究はほとんどない。 批判的な誤解とリスク意識の欠如を識別する。 我々は,ユーザのメンタルヘルスの開示を保護するための勧告を提案する。
  論文  参考訳（メタデータ） (2025-07-14T18:10:21Z)
• SocialSim: Towards Socialized Simulation of Emotional Support Conversation [68.5026443005566]
  感情的サポートの会話をシミュレートする新しいフレームワークSocialSimを紹介する。 SocialSimは、社会的情報開示と社会的認識という、社会的相互作用の重要な側面を統合している。 大規模合成ESCコーパスであるSSConvを構築し,クラウドソーシングESCデータを超える品質を実現する。
  論文  参考訳（メタデータ） (2025-06-20T05:24:40Z)
• Feeling Machines: Ethics, Culture, and the Rise of Emotional AI [18.212492056071657]
  本稿では,批判的・学際的なレンズによる感情応答型人工知能の存在感の高まりについて考察する。 それは、人間の感情をシミュレートし、解釈するAIシステムが、教育、医療、メンタルヘルス、介護、デジタルライフなどの分野における私たちのインタラクションをどう変えているかを探求する。 この分析は、感情的AIの倫理的意味、人間と機械の相互作用の文化的ダイナミクス、脆弱な人口のリスクと機会、そして新たな規制、設計、技術的考察の4つの中心的なテーマに基づいて構成されている。
  論文  参考訳（メタデータ） (2025-06-14T10:28:26Z)
• AI Chatbots for Mental Health: Values and Harms from Lived Experiences of Depression [5.093381538166489]
  この研究は、生きた経験値、潜在的な害、およびメンタルヘルスAIチャットボットのためのデザインレコメンデーションの関係について調査する。 我々は、GPT-4oベースのチャットボットZennyを開発した。 私たちのテーマ分析では、情報的サポート、感情的サポート、パーソナライゼーション、プライバシ、危機管理といった重要な価値を明らかにしました。
  論文  参考訳（メタデータ） (2025-04-26T14:17:25Z)
• EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety [42.052840895090284]
  EmoAgentは、人間とAIのインタラクションにおけるメンタルヘルスハザードの評価と緩和を目的とした、マルチエージェントAIフレームワークである。 EmoEvalは、精神的に脆弱な個人を含む仮想ユーザをシミュレートして、AI文字との対話前後のメンタルヘルスの変化を評価する。 EmoGuardは仲介役として機能し、ユーザーのメンタルステータスを監視し、潜在的な害を予測し、リスクを軽減するための修正的なフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-04-13T18:47:22Z)
• Towards Privacy-aware Mental Health AI Models: Advances, Challenges, and Opportunities [61.633126163190724]
  精神病は、社会的、個人的コストがかなり高い広範囲で不安定な状態である。 近年の人工知能(AI)の進歩は、うつ病、不安障害、双極性障害、統合失調症、外傷後ストレス障害などの病態を認識し、対処するための大きな可能性を秘めている。 データセットやトレーニング済みモデルからの機密データ漏洩のリスクを含むプライバシー上の懸念は、これらのAIシステムを実際の臨床環境にデプロイする上で、依然として重要な障壁である。
  論文  参考訳（メタデータ） (2025-02-01T15:10:02Z)
• Enhancing Mental Health Support through Human-AI Collaboration: Toward Secure and Empathetic AI-enabled chatbots [0.0]
  本稿では、スケーラブルなソリューションとしてのAI対応チャットボットの可能性について検討する。 メンタルヘルスの文脈で共感的で有意義な反応を提供する能力を評価する。 本稿では,データプライバシを保証し,バイアスを低減し,臨床医による継続的検証を統合して応答品質を向上させるためのフェデレート学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T20:49:13Z)
• Mental Illness Classification on Social Media Texts using Deep Learning and Transfer Learning [55.653944436488786]
  世界保健機関(WHO)によると、約4億5000万人が影響を受ける。 うつ病、不安症、双極性障害、ADHD、PTSDなどの精神疾患。 本研究では、Redditプラットフォーム上の非構造化ユーザデータを分析し、うつ病、不安、双極性障害、ADHD、PTSDの5つの一般的な精神疾患を分類する。
  論文  参考訳（メタデータ） (2022-07-03T11:33:52Z)
• Intelligent interactive technologies for mental health and well-being [70.1586005070678]
  本論文では,既存ソリューションの将来展望を批判的に分析する。 特に、私たちは。 メンタルヘルスのための技術の概要を説明します。 提案された基準に照らして テクノロジーを批判的に分析する これらの技術の設計見通しを提供するのです
  論文  参考訳（メタデータ） (2021-05-11T19:04:21Z)
• Disambiguating Affective Stimulus Associations for Robot Perception and Dialogue [67.89143112645556]
  知覚された聴覚刺激と感情表現の関連性を学ぶことができるNICOロボットを提供します。 NICOは、感情駆動対話システムの助けを借りて、個人と特定の刺激の両方でこれを行うことができる。 ロボットは、実際のHRIシナリオにおいて、被験者の聴覚刺激の楽しさを判断するために、この情報を利用することができる。
  論文  参考訳（メタデータ） (2021-03-05T20:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。