論文の概要: From Risk Avoidance to User Empowerment: Reframing Safety in Generative AI for Mental Health Crises

• arxiv url: http://arxiv.org/abs/2603.05647v1
• Date: Thu, 05 Mar 2026 19:55:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.480401
• Title: From Risk Avoidance to User Empowerment: Reframing Safety in Generative AI for Mental Health Crises
• Title（参考訳）: リスク回避からユーザエンパワーメントへ - メンタルヘルス危機に対するジェネレーティブAIの安全性を損なう
• Authors: Benjamin Kaveladze, Arka Ghosh, Leah Ajmani, Denae Ford, Peter M Gutierrez, Jetta E Hanson, Eugenia Kim, Keertana Namuduri, Theresa Nguyen, Ebele Okoli, Teresa Rexin, Jessica L Schleider, Hongyi Shen, Jina Suh,
• Abstract要約: メンタルヘルスの危機を経験した人々は、しばしば支援のためにオープンな生成AI(GenAI)チャットボットに目を向ける。 ほとんどのGenAIチャットボットは、開発者の責任を最小限に抑える方法で、危機状況に対応するように設計されています。 これらのケースにおける危機支援の維持は、有効な代替手段を持たないユーザを害し、さらなる支援を求めるモチベーションを低下させる可能性がある。 本稿では,AI危機支援のためのエンパワーメント指向設計原則を提案する。
• 参考スコア（独自算出の注目度）: 8.819575288875471
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: People experiencing mental health crises frequently turn to open-ended generative AI (GenAI) chatbots such as ChatGPT for support. However, rather than providing immediate assistance, most GenAI chatbots are designed to respond to crisis situations in ways that minimize their developers' liability, primarily through avoidance (e.g., refusing to engage beyond templated referrals to crisis hotlines). Withholding crisis support in these cases may harm users who have no viable alternatives and reduce their motivation to seek further help. At scale, this avoidant design could undermine population mental health. We propose empowerment-oriented design principles for AI crisis support, informed by community helper models. We outline how, as an initial touchpoint in help-seeking, AI chatbots can act as a supportive bridge to de-escalate crises and connect users to more reliable care. Coordination between AI developers and regulators can enable a better balance of risk mitigation and user empowerment in AI crisis support.
• Abstract（参考訳）: メンタルヘルスの危機を経験した人々は、サポートのためにChatGPTのようなオープンな生成AI(GenAI)チャットボットに頻繁に移行します。 しかし、ほとんどのGenAIチャットボットは即時支援を提供するのではなく、開発者責任を最小限に抑える方法で危機状況に対応するように設計されている。 これらのケースにおける危機支援の維持は、有効な代替手段を持たないユーザを害し、さらなる支援を求めるモチベーションを低下させる可能性がある。 大規模に考えると、この回避デザインは人口のメンタルヘルスを損なう可能性がある。 本稿では,AI危機支援のためのエンパワーメント指向設計原則を提案する。 私たちは、ヘルプ検索における最初のタッチポイントとして、AIチャットボットが危機をエスカレートし、より信頼できるケアにユーザーを結びつけるための支援橋として機能する方法について概説した。 AI開発者と規制当局の調整は、AI危機支援におけるリスク軽減とユーザ権限のバランスを改善することができる。

関連論文リスト

• Seeking Late Night Life Lines: Experiences of Conversational AI Use in Mental Health Crisis [9.658745641503897]
  メンタルヘルスの危機において、会話型AIエージェントに転換する最初の経験を探求する。 私たちは、AIエージェントを使って、人間サポートの空間を埋めていることに気付きました。 メンタルヘルスの危機管理において、人間と人間のつながりは重要なポジティブな行動であることがわかった。
  論文  参考訳（メタデータ） (2025-12-29T20:52:17Z)
• "Even GPT Can Reject Me": Conceptualizing Abrupt Refusal Secondary Harm (ARSH) and Reimagining Psychological AI Safety with Compassionate Completion Standard (CCS) [10.377213441117618]
  我々は、突然の拒絶は、関係性の連続性に対する認識を破裂させ、拒絶や恥の感情を誘発し、将来的な支援を阻止する可能性があると論じている。 本稿では,リレーショナルコヒーレンスを保ちながら安全性の制約を維持する設計仮説であるコンパシオント・コンプリート・スタンダードを提案する。 この視点は、タイムリーな概念的枠組みに寄与し、テスト可能な設計仮説を明確にし、人間のAIインタラクションにおける心理的安全性を改善するための協調的な研究課題を概説する。
  論文  参考訳（メタデータ） (2025-12-21T15:31:15Z)
• Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness [11.364198566966204]
  精神状態の人はチャットボットによる信念の不安定化と依存のリスクを増大させる。 現在のAIの安全性対策は、これらのインタラクションベースのリスクに対処するには不十分だ。 このような公衆衛生上の懸念に対処するためには、臨床実践、AI開発、規制フレームワークを越えて協調的な行動が必要である。
  論文  参考訳（メタデータ） (2025-07-25T12:38:54Z)
• When Autonomy Goes Rogue: Preparing for Risks of Multi-Agent Collusion in Social Systems [78.04679174291329]
  悪意のあるマルチエージェントシステム(MAS)のリスクをシミュレートするための概念実証手法を提案する。 この枠組みを、誤情報拡散とeコマース詐欺という2つのリスクの高い分野に適用する。 その結果,分散システムの方が,集中型システムよりも悪意ある行動を実行するのに効果的であることが示唆された。
  論文  参考訳（メタデータ） (2025-07-19T15:17:30Z)
• EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety [42.052840895090284]
  EmoAgentは、人間とAIのインタラクションにおけるメンタルヘルスハザードの評価と緩和を目的とした、マルチエージェントAIフレームワークである。 EmoEvalは、精神的に脆弱な個人を含む仮想ユーザをシミュレートして、AI文字との対話前後のメンタルヘルスの変化を評価する。 EmoGuardは仲介役として機能し、ユーザーのメンタルステータスを監視し、潜在的な害を予測し、リスクを軽減するための修正的なフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-04-13T18:47:22Z)
• Risk Alignment in Agentic AI Systems [0.0]
  監視の少ない複雑な行動を実行することができるエージェントAIは、そのようなシステムをユーザ、開発者、社会と安全に構築し整合させる方法について、新たな疑問を提起する。 リスクアライメントは、ユーザの満足度と信頼には重要ですが、社会にさらに大きな影響をもたらします。 これらの質問の重要な規範的および技術的側面を論じる3つの論文を提示する。
  論文  参考訳（メタデータ） (2024-10-02T18:21:08Z)
• Enhancing Mental Health Support through Human-AI Collaboration: Toward Secure and Empathetic AI-enabled chatbots [0.0]
  本稿では、スケーラブルなソリューションとしてのAI対応チャットボットの可能性について検討する。 メンタルヘルスの文脈で共感的で有意義な反応を提供する能力を評価する。 本稿では,データプライバシを保証し,バイアスを低減し,臨床医による継続的検証を統合して応答品質を向上させるためのフェデレート学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T20:49:13Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• When to Ask for Help: Proactive Interventions in Autonomous Reinforcement Learning [57.53138994155612]
  強化学習の長期的な目標は、世界で自律的に対話し学習できるエージェントを設計することである。 重要な課題は、ロボットアームが物体をテーブルから押し出したときなど、外部からの援助を必要とする不可逆状態の存在である。 本研究では,非可逆状態の検出と回避を効率よく学習し,エージェントが侵入した場合に積極的に支援を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。