論文の概要: MHGraphBench: Knowledge Graph-Grounded Benchmarking of Mental Health Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2605.15589v1
• Date: Fri, 15 May 2026 03:55:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.16504
• Title: MHGraphBench: Knowledge Graph-Grounded Benchmarking of Mental Health Knowledge in Large Language Models
• Title（参考訳）: MHGraphBench:大規模言語モデルにおけるメンタルヘルス知識のベンチマーク
• Authors: Weixin Liu, Congning Ni, Shelagh A. Mulvaney, Susannah L. Rose, Murat Kantarcioglu, Bradley A. Malin, Zhijun Yin,
• Abstract要約: 大規模言語モデル(LLM)は、メンタルヘルス領域でますます使われている。 関連バイオメディカルな知識がどの程度うまく捉えられるか、臨床的に健全な構造化された判断にどの程度確実に適用されているかは、いまだ不明である。 本稿では,精神保健機関の認識,関係判断,2ホップ推論におけるLCMの評価を行うための知識グラフ付きベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 13.221931392711406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used in the mental health domain, yet it remains unclear how well they capture related biomedical knowledge and how reliably they apply it to clinically salient structured judgments. Here, we present a knowledge-graph (KG)-grounded benchmark for assessing LLMs on mental-health entity recognition, relation judgment, and two-hop reasoning. The benchmark is derived from PrimeKG and comprises nine task families with KG-supported answers and controlled negative options. Experiments across 15 closed- and open-source LLMs reveal a persistent recognition-to-judgment gap: leading models achieve near-ceiling performance on entity typing and on the small relation-typing subset, yet they still struggle with relation prediction and two-hop reasoning. Additionally, short KG-derived snippets benefit some models but degrade performance for others. Moreover, output-format reliability can substantially influence measured performance under constrained multiple-choice settings, highlighting the critical role of response validity in benchmark-based evaluation. MHGraphBench should therefore be interpreted as evaluating agreement with a curated mental-health slice of PrimeKG under a constrained multiple-choice interface, rather than as a direct assessment of real-world clinical safety.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、精神医学領域での利用が増えているが、関連する生物医学的知識がどの程度うまく捉えられ、それが臨床的に有意な構造化された判断にどの程度確実に適用されるかは、いまだ不明である。 ここでは,精神保健エンティティ認識,関係判断,二脚推論において,LLMを評価するための知識グラフ(KG)グラウンドベンチマークを提案する。 ベンチマークはPrimeKGから派生したもので、KGをサポートする9つのタスクファミリーとコントロールされた負のオプションで構成されている。 主要なモデルはエンティティタイピングと小さなリレーショナルタイピングサブセットでほぼシーリングのパフォーマンスを達成するが、それでも関係予測と2ホップ推論に苦戦している。 さらに、短いKG由来のスニペットはいくつかのモデルの恩恵を受けるが、他のモデルの性能は低下する。 さらに、出力フォーマットの信頼性は、制約された多重選択条件下での測定性能に大きく影響し、ベンチマークベースの評価において応答妥当性の重要な役割を強調することができる。 したがって、MHGraphBenchは、現実の臨床的安全性の直接評価ではなく、制約された多重選択インターフェースの下で、プライムKGの治癒したメンタルヘルススライスとの合意を評価するものとして解釈されるべきである。

関連論文リスト

• Shattering the Shortcut: A Topology-Regularized Benchmark for Multi-hop Medical Reasoning in LLMs [4.647901209920043]
  我々は,深部診断推論を厳格に評価するために設計された10,558のマルチホップ臨床質問のベンチマークであるShatterMed-QAを紹介した。 我々のフレームワークは、新しい$k$-Shatteringアルゴリズムを用いて、トポロジ規則化された医療知識グラフを構築する。 21個のLLMの総合的な評価は、我々のマルチホップタスクにおいて大きな性能劣化を示す。
  論文  参考訳（メタデータ） (2026-03-12T21:19:54Z)
• Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
  MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。 本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
  論文  参考訳（メタデータ） (2026-01-11T02:20:40Z)
• Beyond Classification Accuracy: Neural-MedBench and the Need for Deeper Reasoning Benchmarks [21.203358914772465]
  近年の視覚言語モデル (VLM) の進歩は, 標準医学ベンチマークにおいて顕著な性能を発揮しているが, その真の臨床推論能力は未だ不明である。 我々はニューラルメドベンチ(Neural-MedBench)について紹介する。これは、神経学におけるマルチモーダルな臨床推論の限界を調査するためのコンパクトで推論集約的なベンチマークである。
  論文  参考訳（メタデータ） (2025-09-26T12:20:01Z)
• Cognitive-Mental-LLM: Evaluating Reasoning in Large Language Models for Mental Health Prediction via Online Text [0.0]
  本研究では,Reddit から得られた複数のメンタルヘルスデータセットの分類精度を向上させるため,構造化推論手法-Chain-of-Thought (CoT), Self-Consistency (SC-CoT), Tree-of-Thought (ToT) の評価を行った。 我々は,Zero-shot CoTやFew-shot CoTといった推論駆動型プロンプト戦略を,Ba balanced Accuracy,F1 score,Sensitivity/Specificityといった重要なパフォーマンス指標を用いて分析する。 以上の結果から,特に複雑な場合において,推論手法により直接予測よりも分類性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-03-13T06:42:37Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions [46.60244609728416]
  言語モデル (LMs) は, 予後不良のリスクが高まれば, 臨床実習におけるモデルの実用性に対するリトマステストにはならない可能性がある, メンタルヘルスの分野では, 言語モデル (LMs) が提案されている。 ウェルネス次元(WD)の同定におけるLMの堅牢性と説明性に着目した評価設計を提案する。 LM/LLMの4つの驚くべき結果が明らかになった。
  論文  参考訳（メタデータ） (2024-06-17T19:50:40Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。