Fugu-MT 論文翻訳(概要): When Rubrics Fail: Hallucinations Reveal Blind Spots in Medical AI Evaluation

論文の概要: When Rubrics Fail: Hallucinations Reveal Blind Spots in Medical AI Evaluation

arxiv url: http://arxiv.org/abs/2609.12718v1
Date: Fri, 11 Sep 2026 11:15:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-15 07:38:31.726755
Title: When Rubrics Fail: Hallucinations Reveal Blind Spots in Medical AI Evaluation
Title（参考訳）: 医療用AI評価で視覚障害者が盲点を発見
Abstract要約: より特定のルーリックは、幻覚反応と正しく区別する。本研究は,医療幻覚型分類法とクリニカル・バリデーション・エラー・インジェクション・パイプラインを開発した。事実を明示的にチェックする上ではルーブリックが最も有効であり、予想しない追加や予期しないエラーに対して効果が低いことが判明した。
参考スコア（独自算出の注目度）: 16.557035598746182
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hallucinations can undermine clinician trust in LLMs, making it important that evaluation methods capture clinically relevant errors. Rubric-based evaluation has become the leading approach for assessing LLMs in medicine, but it is unclear whether rubric scores reflect such errors. We first study this in a controlled setting using MedHallu, finding that more specific rubrics better distinguish correct from hallucinated responses. To test this systematically, we develop a taxonomy of medical hallucination types and a clinician-validated error-injection pipeline that creates matched correct and error-injected responses. Across HealthBench, HealthBench Professional, and LiveMedBench, our clinically relevant hallucinations are missed by rubrics, often leaving scores unchanged. We find that rubrics are most effective when explicitly checking facts, and are less effective for additional or unexpected errors they do not anticipate. A preliminary retrieval-based factuality check recovers some of the rubric-blind errors, suggesting a complementary approach. These findings reveal systematic blind spots in current medical evaluation of LLMs and suggest that rubric scores alone are insufficient to establish clinical reliability, potentially undermining clinician trust and confidence in clinical deployment.
Abstract（参考訳）: 幻覚は臨床医のLSMに対する信頼を損なう可能性があるため、評価法が臨床的に関係のある誤りを捉えることが重要である。ルブリックに基づく評価は医学におけるLSMの評価において主要なアプローチとなっているが、ルブリックスコアがそのような誤りを反映するかどうかは不明である。我々はまず、MedHalluを用いて制御された環境でこれを研究し、より特定の潤滑剤が幻覚反応と正しく区別することを発見した。これを系統的にテストするために,医療用幻覚の分類法と,一致した正解と誤注入の応答を生成する臨床用正誤注入パイプラインを開発した。 HealthBench、HealthBench Professional、LiveMedBench全体では、臨床に関係のある幻覚はルーリックによって見逃され、スコアは変わらないことが多い。事実を明示的にチェックする上ではルーブリックが最も有効であり、予想しない追加や予期しないエラーに対して効果が低いことが判明した。予備的な検索に基づく事実性チェックでは、ルーブリックブレンドエラーの一部が回復し、補完的なアプローチが提案される。これらの結果から,LLMの医療評価における系統的な盲点が明らかとなり,臨床信頼性の確立にはルーブリックスコアだけでは不十分であり,臨床医の信頼や臨床展開への信頼を損なう可能性が示唆された。

関連論文リスト

Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文参考訳（メタデータ） (2026-06-17T08:10:30Z)
When Large Language Models Fail in Healthcare: Evaluating Sensitivity to Prompt Variations [1.0152838128195467]
大規模言語モデル (LLMs) は、臨床質問応答、診断支援、報告要約などのタスクのために医療でますます使われている。彼らの約束にもかかわらず、これらのモデルは語彙的および構文的両方の微妙な急激な摂動に対して非常に敏感であり、安全クリティカルな臨床応用に重大なリスクをもたらす。摂動を自然型, 逆型に分類し, モデル整合性, 精度, 信頼性に及ぼす効果について検討した。
論文参考訳（メタデータ） (2026-06-05T13:07:11Z)
Med-HEAL: Analyzing and Mitigating Hallucinations in Medical LLMs with Hallucination-Aware In-Context Learning [8.322191814123315]
医学的大言語モデルにおける幻覚は臨床決定支援に重大なリスクをもたらす。医療用LLMの幻覚を系統的に同定し,分析し,緩和するためのフレームワークであるMed-HEALを紹介する。
論文参考訳（メタデータ） (2026-05-31T15:43:42Z)
Beyond Literal Summarization: Redefining Hallucination for Medical SOAP Note Evaluation [0.6533091401094101]
評価手法は語彙的忠実度に依存しており, 書字中に明示的に存在しない情報を幻覚としてラベル付けすることが多い。このような手法は, 臨床的に有効なアウトプットを誤分類し, 幻覚率を膨らませたり, モデル評価を歪ませたりする。
論文参考訳（メタデータ） (2026-04-16T10:04:14Z)
Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文参考訳（メタデータ） (2026-03-26T19:01:55Z)
Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文参考訳（メタデータ） (2025-10-11T16:24:35Z)
MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。 MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
論文参考訳（メタデータ） (2025-07-28T17:38:29Z)
Improving Reliability and Explainability of Medical Question Answering through Atomic Fact Checking in Retrieval-Augmented LLMs [15.61511109105186]
大型言語モデル (LLM) は医学的知識が豊富であるが、幻覚や不正確な引用の傾向にある。 Retrieval Augmented Generationのような現在の手法は、ソース文書の回答を根拠にすることで、これらの問題に部分的に対処する。我々は,LLMの信頼性と説明可能性を高めるために,新しい原子ファクトチェックフレームワークを導入する。
論文参考訳（メタデータ） (2025-05-30T17:33:07Z)
Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文参考訳（メタデータ） (2025-02-26T02:30:44Z)
MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。 GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
論文参考訳（メタデータ） (2025-02-20T06:33:23Z)
Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
論文参考訳（メタデータ） (2025-02-20T05:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。