論文の概要: MindEval2: Clinically Grounded Patients and Rubrics for Evaluating Language Models in Mental Health Support

• arxiv url: http://arxiv.org/abs/2610.22314v1
• Date: Thu, 15 Oct 2026 17:51:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.242149
• Title: MindEval2: Clinically Grounded Patients and Rubrics for Evaluating Language Models in Mental Health Support
• Title（参考訳）: MindEval2 : 精神保健支援における言語モデルの評価
• Abstract要約: 評価のためのメンタルヘルス品質(MHQR)と患者シミュレーションのためのMindSimの2つのコンポーネントからなる評価フレームワークであるMindEval2を紹介する。 MHQRは応答品質を、既存の評価よりも解釈可能で実行可能な明示的な運用基準に分解する。 MindSimは、慎重に設計された患者プロファイルとツールを組み合わせることで、既存のベースラインよりも多様な、挑戦的で現実的なインタラクションを可能にします。 我々は、MindEval2上で18のプロプライエタリモデルとオープンウェイトモデルを評価し、フロンティアモデルが表面品質と境界に関する問題で大きく改善されているのに対して、ガイダンスキャリブレーションは依然として主流の障害モードであることを示した。
• 参考スコア（独自算出の注目度）: 6.583305755597325
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With people increasingly turning to AI chatbots for mental health support, the need to evaluate these tools is becoming more pressing. Recent benchmarks attempt to mimic a realistic setting by simulating multi-turn interactions with synthetic patients and evaluating them with an LLM-as-a-judge. However, the usefulness of these methods is limited because simulated patients can be overly forthcoming and self-reflective, and judgments typically involve opaque Likert scales with unclear practical utility. To bridge these gaps, we introduce MindEval2, an evaluation framework that consists of two components: Mental Health Quality Rubrics (MHQR), for evaluation, and MindSim, for patient simulation. For MHQR, we collaborate with PhD-level psychologists to develop a set of rubrics that break down response quality into explicit operational criteria that are more interpretable and actionable than existing evaluation taxonomies. MindSim, in turn, is an LLM harness that combines carefully-designed patient profiles with tools, enabling more varied, challenging, and realistic interactions than existing baselines. The harness also contains a memory component that is updated between each interaction, enabling MindEval2 to model the longitudinal aspect of mental health. We evaluate 18 proprietary and open-weight models on MindEval2, finding that while frontier models have largely improved on issues related to surface level quality and boundaries, guidance calibration remains the dominant failure mode across all models, accounting for most of the quality gap.
• Abstract（参考訳）: 人々がメンタルヘルスをサポートするためのAIチャットボットに目を向けるにつれ、これらのツールを評価する必要性はますます強まりつつある。 最近のベンチマークでは、合成患者とのマルチターン相互作用をシミュレートし、LSM-as-a-judgeで評価することで、現実的な設定を模倣しようとしている。 しかし、これらの方法の有用性は、シミュレーションされた患者が過度に近づき、自己寛容であり、判定には不透明なイコールトスケールと不明瞭な実用性が含まれるため、制限されている。 これらのギャップを埋めるために,MHQR(Mental Health Quality Rubrics)と患者シミュレーションのためのMindSimの2つのコンポーネントからなる評価フレームワークであるMindEval2を導入する。 MHQRでは、PhDレベルの心理学者と協力して、応答品質を、既存の評価分類学よりも解釈可能で行動可能な明確な操作基準に分解するルーリックのセットを開発する。 MindSimは、慎重に設計された患者のプロファイルとツールを組み合わせることで、既存のベースラインよりも多様な、挑戦的で現実的なインタラクションを可能にします。 ハーネスには、各インタラクション間で更新されるメモリコンポーネントも含まれており、MindEval2はメンタルヘルスの縦断的な側面をモデル化することができる。 我々は、MindEval2上で18のプロプライエタリモデルとオープンウェイトモデルを評価し、フロンティアモデルが表面品質とバウンダリに関する問題で大きく改善されているのに対して、ガイダンスキャリブレーションは、品質ギャップの大部分を考慮し、すべてのモデルで支配的な障害モードのままであることを示した。

関連論文リスト

• PSI-Bench: Towards Clinically Grounded and Interpretable Evaluation of Depression Patient Simulators [14.323763649788907]
  PSI-Benchは、うつ病患者シミュレーターの動作を解釈し、臨床的に根拠づけた診断を提供する自動評価フレームワークである。 PSI-Benchを用いて、2つのシミュレーターフレームワーク間で7つのLSMをベンチマークし、シミュレーターが過度に長く、語彙的に多様な応答を生成することを発見した。 人間の研究では、ベンチマークが専門家の判断と強く一致していることが示されています。
  論文  参考訳（メタデータ） (2026-04-28T16:46:25Z)
• MindEval: Benchmarking Language Models on Multi-turn Mental Health Support [10.524387723320432]
  MindEvalは、現実的でマルチターンのメンタルヘルスセラピー会話において、言語モデルを自動的に評価するためのフレームワークである。 シミュレーションされた患者が生成したテキストに対する現実性を定量的に検証し、自動判断と人的判断との間に強い相関関係を示す。 われわれは12の最先端のLCMを評価し、AI固有のコミュニケーションパターンに特に弱点がある平均6点中4点以下で、すべてのモデルが苦戦していることを示す。
  論文  参考訳（メタデータ） (2025-11-23T15:19:29Z)
• Reframe Your Life Story: Interactive Narrative Therapist and Innovative Moment Assessment with Large Language Models [72.36715571932696]
  物語療法は、個人が問題のある人生の物語を代替品の力に変えるのに役立つ。 現在のアプローチでは、特殊精神療法ではリアリズムが欠如しており、時間とともに治療の進行を捉えることができない。 Int(Interactive Narrative Therapist)は、治療段階を計画し、反射レベルを誘導し、文脈的に適切な専門家のような反応を生成することによって、専門家の物語セラピストをシミュレートする。
  論文  参考訳（メタデータ） (2025-07-27T11:52:09Z)
• MoodAngels: A Retrieval-augmented Multi-agent Framework for Psychiatry Diagnosis [58.67342568632529]
  MoodAngelsは、気分障害の診断のための最初の特殊なマルチエージェントフレームワークである。 MoodSynは、合成精神医学の1,173件のオープンソースデータセットである。
  論文  参考訳（メタデータ） (2025-06-04T09:18:25Z)
• Reasoning Is Not All You Need: Examining LLMs for Multi-Turn Mental Health Conversations [13.064927179032756]
  MedAgentは、現実的で多ターンのメンタルヘルス・センスメイキングの会話を合成的に生成する新しいフレームワークである。 医療環境におけるLLMのマルチターン会話能力を評価するための総合的フレームワークであるMultiSenseEvalを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:42:02Z)
• Beyond Empathy: Integrating Diagnostic and Therapeutic Reasoning with Large Language Models for Mental Health Counseling [50.83055329849865]
  PsyLLMは、メンタルヘルスカウンセリングの診断と治療的推論を統合するために設計された大きな言語モデルである。 Redditから現実世界のメンタルヘルス投稿を処理し、マルチターン対話構造を生成する。 実験の結果,PsyLLMは最先端のベースラインモデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-21T16:24:49Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network [54.332862955411656]
  臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。 近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。 本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
  論文  参考訳（メタデータ） (2023-07-19T12:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。