論文の概要: A Risk Taxonomy for Evaluating AI-Powered Psychotherapy Agents
- arxiv url: http://arxiv.org/abs/2505.15108v1
- Date: Wed, 21 May 2025 05:01:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:58.87521
- Title: A Risk Taxonomy for Evaluating AI-Powered Psychotherapy Agents
- Title（参考訳）: AIによる心理療法薬の評価のためのリスク分類法
- Authors: Ian Steenstra, Timothy W. Bickmore,
- Abstract要約: 我々は、会話型AI心理療法士の体系的評価に特化して設計された新しいリスク分類法を導入する。
我々は、カウンセリング会話中に認知モデルに基づくリスクファクターを監視して、安全でない逸脱を検出するという2つのユースケースと、シミュレーションされた患者とのAI心理療法士の自動ベンチマークについて詳細に論じる。
- 参考スコア（独自算出の注目度）: 10.405048273969085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of Large Language Models (LLMs) and Intelligent Virtual Agents acting as psychotherapists presents significant opportunities for expanding mental healthcare access. However, their deployment has also been linked to serious adverse outcomes, including user harm and suicide, facilitated by a lack of standardized evaluation methodologies capable of capturing the nuanced risks of therapeutic interaction. Current evaluation techniques lack the sensitivity to detect subtle changes in patient cognition and behavior during therapy sessions that may lead to subsequent decompensation. We introduce a novel risk taxonomy specifically designed for the systematic evaluation of conversational AI psychotherapists. Developed through an iterative process including review of the psychotherapy risk literature, qualitative interviews with clinical and legal experts, and alignment with established clinical criteria (e.g., DSM-5) and existing assessment tools (e.g., NEQ, UE-ATR), the taxonomy aims to provide a structured approach to identifying and assessing user/patient harms. We provide a high-level overview of this taxonomy, detailing its grounding, and discuss potential use cases. We discuss two use cases in detail: monitoring cognitive model-based risk factors during a counseling conversation to detect unsafe deviations, in both human-AI counseling sessions and in automated benchmarking of AI psychotherapists with simulated patients. The proposed taxonomy offers a foundational step towards establishing safer and more responsible innovation in the domain of AI-driven mental health support.
- Abstract（参考訳）: 大規模言語モデル(LLMs)と知的仮想エージェント(Intelligent Virtual Agents)が精神療法士として機能し、メンタルヘルスアクセスを拡大する大きな機会が提示される。
しかし、それらの展開は、治療行為の有害なリスクを捉えることのできる標準化された評価手法の欠如によって促進される、ユーザーの損害や自殺を含む深刻な有害な結果にも結びついている。
現在の評価技術では、治療中の患者の認知と行動の微妙な変化を検知する感度が欠如しており、その後の補充に繋がる可能性がある。
我々は、会話型AI心理療法士の体系的評価に特化して設計された新しいリスク分類法を導入する。
精神療法リスク文献のレビュー、臨床および法律の専門家との質的なインタビュー、確立された臨床基準(例えば、DSM-5)および既存の評価ツール(例えば、NEQ、UE-ATR)との連携を含む反復的なプロセスを通じて開発された分類学は、ユーザ/患者の被害を特定し評価するための構造化されたアプローチを提供することを目的としている。
我々は、この分類の高レベルな概要を述べ、その基礎を詳述し、潜在的なユースケースについて議論する。
我々は、カウンセリング会話中の認知モデルに基づくリスクファクターを監視し、安全でない逸脱を検出する、人間とAIのカウンセリングセッションと、シミュレーションされた患者とのAI心理療法士の自動ベンチマークの2つのユースケースについて詳細に論じる。
提案された分類学は、AI主導のメンタルヘルスサポートの領域において、より安全で責任あるイノベーションを確立するための基礎的なステップを提供する。
関連論文リスト
- AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Towards Privacy-aware Mental Health AI Models: Advances, Challenges, and Opportunities [61.633126163190724]
精神病は、社会的、個人的コストがかなり高い広範囲で不安定な状態である。
近年の人工知能(AI)の進歩は、うつ病、不安障害、双極性障害、統合失調症、外傷後ストレス障害などの病態を認識し、対処するための大きな可能性を秘めている。
データセットやトレーニング済みモデルからの機密データ漏洩のリスクを含むプライバシー上の懸念は、これらのAIシステムを実際の臨床環境にデプロイする上で、依然として重要な障壁である。
論文 参考訳（メタデータ） (2025-02-01T15:10:02Z) - PSYCHE: A Multi-faceted Patient Simulation Framework for Evaluation of Psychiatric Assessment Conversational Agents [2.8216674865505627]
精神科アセスメント会話エージェント(PACA)は、臨床評価における精神科医の役割をシミュレートすることを目的としている。
本稿では,(1)臨床関連性,2)倫理的安全性,3)費用効率,および4)PACAの定量的評価を可能にする新しい枠組みであるPSYCHEを提案する。
これは、シミュレーションされた患者のプロファイル、履歴、行動を定義する多面的な精神科構成に基づいて、精神科患者をシミュレートすることで達成される。
論文 参考訳（メタデータ） (2025-01-03T01:38:46Z) - From Lived Experience to Insight: Unpacking the Psychological Risks of Using AI Conversational Agents [21.66189033227397]
我々の研究は、個人の生きた経験を通して収集されたAIを使用することの心理的リスクに焦点を当てた、新しいリスク分類を提示する。
我々の分類学は、19のAI行動、21のネガティブな心理的影響、および個人に関連する15の文脈を特徴としている。
論文 参考訳（メタデータ） (2024-12-10T22:31:29Z) - SouLLMate: An Application Enhancing Diverse Mental Health Support with Adaptive LLMs, Prompt Engineering, and RAG Techniques [9.146311285410631]
メンタルヘルスの問題は個人の日常生活に大きな影響を及ぼすが、多くの人は利用可能なオンラインリソースでも必要な支援を受けていない。
この研究は、最先端のAI技術を通じて、多様な、アクセス可能な、スティグマのない、パーソナライズされた、リアルタイムのメンタルヘルスサポートを提供することを目的としている。
論文 参考訳（メタデータ） (2024-10-17T22:04:32Z) - SouLLMate: An Adaptive LLM-Driven System for Advanced Mental Health Support and Assessment, Based on a Systematic Application Survey [9.146311285410631]
メンタルヘルスの問題は個人の日常生活に大きな影響を及ぼすが、多くの人は利用可能なオンラインリソースでも必要な支援を受けていない。
この研究は、最先端のAI技術を通じて、アクセス可能で、スティグマフリーで、パーソナライズされ、リアルタイムなメンタルヘルスサポートを提供することを目的としている。
論文 参考訳（メタデータ） (2024-10-06T17:11:29Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳（メタデータ） (2023-02-11T18:07:11Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-02-20T03:29:20Z) - Opportunities of a Machine Learning-based Decision Support System for
Stroke Rehabilitation Assessment [64.52563354823711]
リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。
現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。
我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
論文 参考訳（メタデータ） (2020-02-27T17:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。