論文の概要: Domain-Specific Constitutional AI: Enhancing Safety in LLM-Powered Mental Health Chatbots
- arxiv url: http://arxiv.org/abs/2509.16444v1
- Date: Fri, 19 Sep 2025 21:46:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:15.794134
- Title: Domain-Specific Constitutional AI: Enhancing Safety in LLM-Powered Mental Health Chatbots
- Title（参考訳）: ドメイン特化型コンスティチューションAI:LLM搭載メンタルヘルスチャットボットの安全性向上
- Authors: Chenhan Lyu, Yutong Song, Pengfei Zhang, Amir M. Rahmani,
- Abstract要約: メンタルヘルスの応用は、計算健康にとって重要な分野として現れてきた。
一般的なセーフガードは、メンタルヘルス固有の課題に不十分に対処する。
我々は、安全でドメイン対応のCAIシステムに対して、ドメイン固有のメンタルヘルス原則に立憲AIトレーニングを適用するアプローチを導入する。
- 参考スコア（独自算出の注目度）: 8.262471803441542
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mental health applications have emerged as a critical area in computational health, driven by rising global rates of mental illness, the integration of AI in psychological care, and the need for scalable solutions in underserved communities. These include therapy chatbots, crisis detection, and wellness platforms handling sensitive data, requiring specialized AI safety beyond general safeguards due to emotional vulnerability, risks like misdiagnosis or symptom exacerbation, and precise management of vulnerable states to avoid severe outcomes such as self-harm or loss of trust. Despite AI safety advances, general safeguards inadequately address mental health-specific challenges, including crisis intervention accuracy to avert escalations, therapeutic guideline adherence to prevent misinformation, scale limitations in resource-constrained settings, and adaptation to nuanced dialogues where generics may introduce biases or miss distress signals. We introduce an approach to apply Constitutional AI training with domain-specific mental health principles for safe, domain-adapted CAI systems in computational mental health applications.
- Abstract（参考訳）: メンタルヘルスの応用は、メンタルヘルスにおける重要な領域として現れており、メンタルヘルスのグローバルな増加、心理的ケアにおけるAIの統合、未解決のコミュニティにおけるスケーラブルなソリューションの必要性によって推進されている。
これには、センシティブなデータを扱う治療チャットボット、危機検出、ウェルネスプラットフォーム、感情的な脆弱性による一般的な安全以上の専門的なAI安全性、誤った診断や症状の悪化といったリスク、自己修復や信頼喪失といった深刻な結果を避けるために脆弱な状態の正確な管理などが含まれる。
AIの安全性の進歩にもかかわらず、一般的なセーフガードは、エスカレーションを回避するための危機介入の正確さ、誤情報を防止するための治療ガイドラインの順守、リソース制限された設定の制限のスケール、ジェネリクスがバイアスや障害信号を導入する可能性のあるニュアンス化された対話への適応など、メンタルヘルス固有の課題に不十分に対処する。
本稿では,コンピュータ・メンタルヘルス・アプリケーションにおいて,安全で領域に適応したCAIシステムに対して,領域固有のメンタルヘルス原則を用いたコンスティチューショナルAIトレーニングを適用するアプローチを提案する。
関連論文リスト
- Responsible Evaluation of AI for Mental Health [72.85175110624736]
メンタルヘルスケアにおけるAIツールの評価に対する現在のアプローチは、断片化されており、臨床実践、社会的コンテキスト、ファーストハンドのユーザエクスペリエンスと不整合である。
本稿では,臨床の健全性,社会的文脈,公平性を統合した学際的枠組みを導入することにより,責任ある評価を再考する。
論文 参考訳（メタデータ） (2026-01-20T12:55:10Z) - Towards Emotionally Intelligent and Responsible Reinforcement Learning [0.40719854602160227]
本稿では,感情的・文脈的理解と倫理的考察を統合したレスポンシブル強化学習フレームワークを提案する。
本稿では,短期的行動参加と長期的ユーザの幸福感のバランスをとる多目的報酬関数を提案する。
本稿では, 行動保健, 教育, デジタル治療など人間中心の領域におけるこのアプローチの意義について論じる。
論文 参考訳（メタデータ） (2025-11-13T18:09:37Z) - A Comprehensive Review of Datasets for Clinical Mental Health AI Systems [55.67299586253951]
本稿では,AIを活用した臨床アシスタントの訓練・開発に関連する臨床精神保健データセットの総合的調査を行う。
本調査では, 縦断データの欠如, 文化・言語表現の制限, 一貫性のない収集・注釈基準, 合成データのモダリティの欠如など, 重要なギャップを明らかにした。
論文 参考訳（メタデータ） (2025-08-13T13:42:35Z) - Never Compromise to Vulnerabilities: A Comprehensive Survey on AI Governance [211.5823259429128]
本研究は,本質的セキュリティ,デリバティブ・セキュリティ,社会倫理の3つの柱を中心に構築された,技術的・社会的次元を統合した包括的枠組みを提案する。
我々は,(1)防衛が進化する脅威に対して失敗する一般化ギャップ,(2)現実世界のリスクを無視する不適切な評価プロトコル,(3)矛盾する監視につながる断片的な規制,の3つの課題を特定する。
私たちのフレームワークは、研究者、エンジニア、政策立案者に対して、堅牢でセキュアなだけでなく、倫理的に整合性があり、公的な信頼に値するAIシステムを開発するための実用的なガイダンスを提供します。
論文 参考訳（メタデータ） (2025-08-12T09:42:56Z) - Towards Privacy-aware Mental Health AI Models: Advances, Challenges, and Opportunities [58.61680631581921]
メンタルヘルス障害は、深い個人的・社会的負担を生じさせるが、従来の診断はリソース集約的でアクセシビリティが制限される。
本稿では、これらの課題を考察し、匿名化、合成データ、プライバシー保護トレーニングを含む解決策を提案する。
臨床的な意思決定をサポートし、メンタルヘルスの結果を改善する、信頼できるプライバシを意識したAIツールを進化させることを目標としている。
論文 参考訳（メタデータ） (2025-02-01T15:10:02Z) - Open Problems in Machine Unlearning for AI Safety [61.43515658834902]
特定の種類の知識を選択的に忘れたり、抑圧したりするマシンアンラーニングは、プライバシとデータ削除タスクの約束を示している。
本稿では,アンラーニングがAI安全性の包括的ソリューションとして機能することを防止するための重要な制約を特定する。
論文 参考訳（メタデータ） (2025-01-09T03:59:10Z) - Harnessing Large Language Models for Mental Health: Opportunities, Challenges, and Ethical Considerations [3.0655356440262334]
大規模言語モデル(LLM)は、メンタルヘルスの専門家にリアルタイムサポート、データ統合の改善、ケアを探す行動を促進する能力を促進するAI駆動のツールである。
しかし、その実装には重大な課題と倫理的な懸念が伴う。
本稿では,精神保健におけるLLMの変容の可能性について検討し,関連する技術的・倫理的複雑さを強調し,協調的・多分野的なアプローチを提唱する。
論文 参考訳（メタデータ） (2024-12-13T13:18:51Z) - Enhancing Guardrails for Safe and Secure Healthcare AI [0.0]
私は、医療特有のニーズに合うように、Nvidia NeMo Guardrailsのような既存のガードレールフレームワークの強化を提案します。
私は、医療におけるAIの安全で信頼性が高く正確な使用を確実にし、誤情報リスクを軽減し、患者の安全性を向上させることを目指しています。
論文 参考訳（メタデータ） (2024-09-25T06:30:06Z) - Risks from Language Models for Automated Mental Healthcare: Ethics and Structure for Implementation [0.0]
本稿では、自律性のレベルを規定し、倫理的要件を概説し、AIエージェントに最適なデフォルト動作を定義する構造化フレームワークを提案する。
また,16のメンタルヘルス関連質問紙を用いて,14の最先端言語モデル(既成語10種,微調整語4種)を評価した。
論文 参考訳（メタデータ） (2024-04-02T15:05:06Z) - COVI White Paper [67.04578448931741]
接触追跡は、新型コロナウイルスのパンデミックの進行を変える上で不可欠なツールだ。
カナダで開発されたCovid-19の公衆ピアツーピア接触追跡とリスク認識モバイルアプリケーションであるCOVIの理論的、設計、倫理的考察、プライバシ戦略について概説する。
論文 参考訳（メタデータ） (2020-05-18T07:40:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。