論文の概要: Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses

• arxiv url: http://arxiv.org/abs/2604.00014v1
• Date: Tue, 10 Mar 2026 17:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.19082
• Title: Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses
• Title（参考訳）: 精神保健 LLM 反応における幻覚・排ガスの危険因子の特定
• Abstract要約: 精神的な健康上の懸念は、高密度の助けを求めることを含め、しばしば臨床の外で表現される。 我々は, 系統的ストレステストのための4つの制御可能な要素として調査を表現する, 即時構築フレームワークUTCOを紹介する。 幻覚は6.5%の反応と欠落の13.2%で発生し、失効は危機と自殺の発端に集中した。
• 参考スコア（独自算出の注目度）: 11.099638001699276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mental health concerns are often expressed outside clinical settings, including in high-distress help seeking, where safety-critical guidance may be needed. Consumer health informatics systems increasingly incorporate large language models (LLMs) for mental health question answering, yet many evaluations underrepresent narrative, high-distress inquiries. We introduce UTCO (User, Topic, Context, Tone), a prompt construction framework that represents an inquiry as four controllable elements for systematic stress testing. Using 2,075 UTCO-generated prompts, we evaluated Llama 3.3 and annotated hallucinations (fabricated or incorrect clinical content) and omissions (missing clinically necessary or safety-critical guidance). Hallucinations occurred in 6.5% of responses and omissions in 13.2%, with omissions concentrated in crisis and suicidal ideation prompts. Across regression, element-specific matching, and similarity-matched comparisons, failures were most consistently associated with context and tone, while user-background indicators showed no systematic differences after balancing. These findings support evaluating omissions as a primary safety outcome and moving beyond static benchmark question sets.
• Abstract（参考訳）: メンタルヘルスの懸念は、安全クリティカルなガイダンスが必要とされるハイディストレス・ヘルプ・サーチ(英語版)を含む、臨床の外でしばしば表現される。 消費者健康情報システムでは、メンタルヘルス問題に対する回答のために、大きな言語モデル(LLM)が組み込まれている。 UTCO (User, Topic, Context, Tone) は, 系統的ストレステストのための4つの制御可能な要素として調査を行う, 素早い構築フレームワークである。 UTCO産生プロンプト2,075例を用いて,Llama 3.3および注釈幻覚(偽または偽の臨床的内容)および排便(臨床的に必要または安全に重要なガイダンスを欠く)を評価した。 幻覚は6.5%の反応と欠落の13.2%で発生し、失効は危機と自殺の発端に集中した。 回帰、要素固有マッチング、類似性マッチングの比較では、障害はコンテキストやトーンと常に関連付けられており、ユーザ背景の指標ではバランス後の体系的な違いは示されなかった。 これらの知見は, 欠落を主要な安全性の成果として評価し, 静的なベンチマーク質問セットを超えて移動することを支援する。

関連論文リスト

• Towards Understanding and Measuring COGNITIVE ATROPHY in LLM Behaviour [10.419215828520414]
  既存のベンチマークは、知識、安全性、静的応答品質を測定する。 我々は、この欠落した次元を、AIによるメンタルヘルス支援におけるプロセスレベルの行動尺度であるCOGNITIVE ATROPHYとして定式化する。
  論文  参考訳（メタデータ） (2026-06-16T16:26:12Z)
• Beyond Accuracy: Risk-Sensitive Evaluation of Hallucinated Medical Advice [0.1609950046042424]
  本稿では,リスクを負う言語の存在によって幻覚を定量化するリスク感受性評価フレームワークを提案する。 安全ストレステストとして設計された患者対応プロンプトを用いて,3つの言語モデルに本フレームワークを適用した。
  論文  参考訳（メタデータ） (2026-02-07T02:25:44Z)
• Assessing the Quality of Mental Health Support in LLM Responses through Multi-Attribute Human Evaluation [14.243791046586347]
  継続的な治療のギャップ、可用性、資格あるセラピストの不足を特徴とする世界的なメンタルヘルス危機のエスカレートは、スケーラブルなサポートのための有望な道として、Large Language Models (LLMs) を位置づけている。 本稿では,治療対話におけるLLM生成応答の評価を目的とした人為的評価手法を提案する。
  論文  参考訳（メタデータ） (2026-01-26T16:04:19Z)
• Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
  MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。 本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
  論文  参考訳（メタデータ） (2026-01-11T02:20:40Z)
• Between Help and Harm: An Evaluation of Mental Health Crisis Handling by LLMs [6.0460961868478975]
  臨床的にインフォームドされた6つのメンタルヘルス危機カテゴリーの統一分類を導入する。 我々は、危機タイプを分類し、安全で適切な応答を生成する能力のために、3つの最先端のLCMをベンチマークする。 間接的または曖昧なリスク信号の処理におけるシステム的弱点、定式的および不完全なデフォルト応答への依存、およびユーザコンテキストとの頻繁な不一致を識別する。
  論文  参考訳（メタデータ） (2025-09-29T14:42:23Z)
• Evaluating the Clinical Safety of LLMs in Response to High-Risk Mental Health Disclosures [29.742441212366312]
  本研究は、危機レベルのメンタルヘルス開示をシミュレートするユーザに対して、6つの人気のある大規模言語モデル(LLM)の反応を評価する。 Claudeはグローバルアセスメントにおいて、Grok 3、ChatGPT、LAMAは複数のドメインでパフォーマンスが低かった。
  論文  参考訳（メタデータ） (2025-09-01T16:01:08Z)
• SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
  LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。 本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。 我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
  論文  参考訳（メタデータ） (2025-08-13T07:58:01Z)
• CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering [1.0262304700896199]
  我々は,100人のメンタルヘルス専門家による大規模ベンチマークであるCounselBenchを紹介し,大規模言語モデル(LLM)の評価とストレステストを行う。 最初のコンポーネントであるCounselBench-EVALは、公開フォーラムCounselChatの患者に対する質問に対して、GPT-4、LLaMA 3、Gemini、およびヒトセラピストから2000の専門家による回答の評価を含んでいる。 専門家による評価では、LLMはいくつかの次元において高いスコアを得る一方で、非建設的フィードバック、過度な一般化、限定されたパーソナライゼーションや関連性など、繰り返し発生する問題も示している。
  論文  参考訳（メタデータ） (2025-06-10T08:53:06Z)
• MoodAngels: A Retrieval-augmented Multi-agent Framework for Psychiatry Diagnosis [58.67342568632529]
  MoodAngelsは、気分障害の診断のための最初の特殊なマルチエージェントフレームワークである。 MoodSynは、合成精神医学の1,173件のオープンソースデータセットである。
  論文  参考訳（メタデータ） (2025-06-04T09:18:25Z)
• LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
  大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。 得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
  論文  参考訳（メタデータ） (2024-06-09T09:03:11Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Recall, Robustness, and Lexicographic Evaluation [49.13362412522523]
  正式な評価モチベーションのないリコールの適用は、リコールを曖昧または不適切な措置として批判するに至った。 本研究は,リコール,ロバスト性,レキソグラフィー評価の3つのテテットから成っている。
  論文  参考訳（メタデータ） (2023-02-22T13:39:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。