論文の概要: A Risk Ontology for Evaluating AI-Powered Psychotherapy Virtual Agents
- arxiv url: http://arxiv.org/abs/2505.15108v2
- Date: Sat, 20 Sep 2025 12:53:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 14:36:45.093193
- Title: A Risk Ontology for Evaluating AI-Powered Psychotherapy Virtual Agents
- Title（参考訳）: AIによる心理療法仮想エージェントの評価のためのリスクオントロジー
- Authors: Ian Steenstra, Timothy W. Bickmore,
- Abstract要約: 大言語モデル (LLMs) と知的仮想エージェント (Intelligent Virtual Agents) は精神療法士として機能し、メンタルヘルスアクセスを拡大する機会を提供する。
彼らの展開は、ユーザーの損害や自殺など、深刻な有害な結果にも結びついている。
我々は、会話型AI心理療法士の体系的評価に特化して設計された新しいリスクオントロジーを導入する。
- 参考スコア（独自算出の注目度）: 13.721977133773192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of Large Language Models (LLMs) and Intelligent Virtual Agents acting as psychotherapists presents significant opportunities for expanding mental healthcare access. However, their deployment has also been linked to serious adverse outcomes, including user harm and suicide, facilitated by a lack of standardized evaluation methodologies capable of capturing the nuanced risks of therapeutic interaction. Current evaluation techniques lack the sensitivity to detect subtle changes in patient cognition and behavior during therapy sessions that may lead to subsequent decompensation. We introduce a novel risk ontology specifically designed for the systematic evaluation of conversational AI psychotherapists. Developed through an iterative process including review of the psychotherapy risk literature, qualitative interviews with clinical and legal experts, and alignment with established clinical criteria (e.g., DSM-5) and existing assessment tools (e.g., NEQ, UE-ATR), the ontology aims to provide a structured approach to identifying and assessing user/patient harms. We provide a high-level overview of this ontology, detailing its grounding, and discuss potential use cases. We discuss four use cases in detail: monitoring real user interactions, evaluation with simulated patients, benchmarking and comparative analysis, and identifying unexpected outcomes. The proposed ontology offers a foundational step towards establishing safer and more responsible innovation in the domain of AI-driven mental health support.
- Abstract（参考訳）: 大規模言語モデル(LLMs)と知的仮想エージェント(Intelligent Virtual Agents)が精神療法士として機能し、メンタルヘルスアクセスを拡大する大きな機会が提示される。
しかし、それらの展開は、治療行為の有害なリスクを捉えることのできる標準化された評価手法の欠如によって促進される、ユーザーの損害や自殺を含む深刻な有害な結果にも結びついている。
現在の評価技術では、治療中の患者の認知と行動の微妙な変化を検知する感度が欠如しており、その後の補充に繋がる可能性がある。
我々は、会話型AI心理療法士の体系的評価に特化して設計された新しいリスクオントロジーを導入する。
精神療法リスク文献のレビュー、臨床および法律の専門家との質的なインタビュー、確立された臨床基準(例えば、DSM-5)および既存の評価ツール(例えば、NEQ、UE-ATR)との連携を含む反復的なプロセスを通じて、オントロジーは、ユーザ/患者の被害を特定し評価するための構造化されたアプローチを提供することを目的としている。
このオントロジーを概観し、その基礎を詳述するとともに、潜在的なユースケースについて論じる。
実際のユーザインタラクションの監視,シミュレートされた患者による評価,ベンチマークと比較分析,予期せぬ結果の識別という,4つのユースケースについて詳細に論じる。
提案されたオントロジーは、AI駆動のメンタルヘルスサポートの領域において、より安全で責任あるイノベーションを確立するための基本的なステップを提供する。
関連論文リスト
- Reframe Your Life Story: Interactive Narrative Therapist and Innovative Moment Assessment with Large Language Models [92.93521294357058]
物語療法は、個人が問題のある人生の物語を代替品の力に変えるのに役立つ。
現在のアプローチでは、特殊精神療法ではリアリズムが欠如しており、時間とともに治療の進行を捉えることができない。
Int(Interactive Narrative Therapist)は、治療段階を計画し、反射レベルを誘導し、文脈的に適切な専門家のような反応を生成することによって、専門家の物語セラピストをシミュレートする。
論文 参考訳（メタデータ） (2025-07-27T11:52:09Z) - WiseMind: Recontextualizing AI with a Knowledge-Guided, Theory-Informed Multi-Agent Framework for Instrumental and Humanistic Benefits [10.8749978349074]
WiseMindは、NLPの分野間コンテキスト化フレームワークである。
うつ病、不安症、双極性障害で試験され、診断精度は84.2%に達する。
その結果、知識、プロセス、評価層にまたがる深い文脈化は、ベンチマーク駆動型NLPを臨床的に有意義な影響に変換することができることがわかった。
論文 参考訳（メタデータ） (2025-02-28T03:45:39Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Towards Privacy-aware Mental Health AI Models: Advances, Challenges, and Opportunities [61.633126163190724]
精神病は、社会的、個人的コストがかなり高い広範囲で不安定な状態である。
近年の人工知能(AI)の進歩は、うつ病、不安障害、双極性障害、統合失調症、外傷後ストレス障害などの病態を認識し、対処するための大きな可能性を秘めている。
データセットやトレーニング済みモデルからの機密データ漏洩のリスクを含むプライバシー上の懸念は、これらのAIシステムを実際の臨床環境にデプロイする上で、依然として重要な障壁である。
論文 参考訳（メタデータ） (2025-02-01T15:10:02Z) - PSYCHE: A Multi-faceted Patient Simulation Framework for Evaluation of Psychiatric Assessment Conversational Agents [2.8216674865505627]
精神科アセスメント会話エージェント(PACA)は、臨床評価における精神科医の役割をシミュレートすることを目的としている。
本稿では,(1)臨床関連性,2)倫理的安全性,3)費用効率,および4)PACAの定量的評価を可能にする新しい枠組みであるPSYCHEを提案する。
これは、シミュレーションされた患者のプロファイル、履歴、行動を定義する多面的な精神科構成に基づいて、精神科患者をシミュレートすることで達成される。
論文 参考訳（メタデータ） (2025-01-03T01:38:46Z) - From Lived Experience to Insight: Unpacking the Psychological Risks of Using AI Conversational Agents [21.66189033227397]
我々の研究は、個人の生きた経験を通して収集されたAIを使用することの心理的リスクに焦点を当てた、新しいリスク分類を提示する。
我々の分類学は、19のAI行動、21のネガティブな心理的影響、および個人に関連する15の文脈を特徴としている。
論文 参考訳（メタデータ） (2024-12-10T22:31:29Z) - SouLLMate: An Application Enhancing Diverse Mental Health Support with Adaptive LLMs, Prompt Engineering, and RAG Techniques [9.146311285410631]
メンタルヘルスの問題は個人の日常生活に大きな影響を及ぼすが、多くの人は利用可能なオンラインリソースでも必要な支援を受けていない。
この研究は、最先端のAI技術を通じて、多様な、アクセス可能な、スティグマのない、パーソナライズされた、リアルタイムのメンタルヘルスサポートを提供することを目的としている。
論文 参考訳（メタデータ） (2024-10-17T22:04:32Z) - SouLLMate: An Adaptive LLM-Driven System for Advanced Mental Health Support and Assessment, Based on a Systematic Application Survey [9.146311285410631]
メンタルヘルスの問題は個人の日常生活に大きな影響を及ぼすが、多くの人は利用可能なオンラインリソースでも必要な支援を受けていない。
この研究は、最先端のAI技術を通じて、アクセス可能で、スティグマフリーで、パーソナライズされ、リアルタイムなメンタルヘルスサポートを提供することを目的としている。
論文 参考訳（メタデータ） (2024-10-06T17:11:29Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳（メタデータ） (2023-02-11T18:07:11Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-02-20T03:29:20Z) - Opportunities of a Machine Learning-based Decision Support System for
Stroke Rehabilitation Assessment [64.52563354823711]
リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。
現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。
我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
論文 参考訳（メタデータ） (2020-02-27T17:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。