論文の概要: Med-StepBench: A Hierarchical Reasoning Framework for Evaluating Hallucinations in Medical Vision-Language Models
- arxiv url: http://arxiv.org/abs/2605.10002v1
- Date: Mon, 11 May 2026 05:26:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.544338
- Title: Med-StepBench: A Hierarchical Reasoning Framework for Evaluating Hallucinations in Medical Vision-Language Models
- Title（参考訳）: Med-StepBench:医療視覚・言語モデルにおける幻覚評価のための階層的推論フレームワーク
- Abstract要約: 既存の幻覚ベンチマークは、主に1ショットの診断質問を伴う2Dイメージングに焦点を当てている。
我々は3DオンコロジーPET/CTにおける段階的幻覚検出のための最初の大規模ベンチマークであるMed-StepBenchを紹介する。
- 参考スコア（独自算出の注目度）: 8.20487574753681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models (VLMs) demonstrate strong performance in medical image understanding, but frequently generate clinically plausible yet incorrect statements, raising significant safety concerns. Existing medical hallucination benchmarks primarily focus on 2D imaging with one-shot diagnostic questions, offering limited insight into whether predictions are grounded in correct localization and abnormality identification, allowing critical reasoning errors to remain hidden behind seemingly correct diagnoses. We introduce Med-StepBench, the first large-scale benchmark for step-wise hallucination detection in 3D oncological PET/CT, comprising over 12,000 images and more than 1,000,000 image-statement pairs across volumetric and multi-view 2D data, which decomposes clinical reasoning into four expert-designed diagnostic stages. Using clinician-verified annotations, we perform the first step-level evaluation of general-purpose and medical VLMs, revealing systematic failure modes obscured by aggregate accuracy metrics. Furthermore, we show that current VLMs are highly susceptible to adversarial yet clinically plausible intermediate explanations, which significantly amplify hallucinations despite contradictory visual evidence. Together, our findings highlight fundamental limitations in grounding multi-step clinical reasoning and establish Med-StepBench as a rigorous benchmark for developing safer and more reliable medical VLMs.
- Abstract（参考訳）: 大規模視覚言語モデル(VLM)は、医用画像理解において高い性能を示すが、臨床的に妥当だが誤記をしばしば生み出すため、重大な安全性上の懸念が生じる。
既存の幻覚のベンチマークは、主に1ショットの診断質問を伴う2Dイメージングに焦点を当てており、予測が正しい位置化と異常同定の根拠になっているかどうかについての限られた洞察を提供しており、重大な推論エラーが正しい診断の背後に隠れている。
Med-StepBenchは、3DオンコロジーPET/CTにおける段階的幻覚検出のための最初の大規模ベンチマークであり、12,000枚以上の画像と1000,000枚以上の画像提示ペアをボリュームデータとマルチビュー2Dデータで比較し、臨床理由を4つの専門的に設計された診断段階に分解する。
臨床用および医学用VLMの最初の段階的な評価を行い, 総合的精度の指標によって, 系統的な故障モードが明らかとなった。
さらに,現在のVLMは,否定的な視覚的証拠にもかかわらず幻覚を著しく増幅する,対向的かつ臨床的に妥当な中間的説明に非常に感受性があることが示唆された。
本研究は,多段階臨床推論の基礎的限界を強調し,より安全で信頼性の高い医用VLMを開発するための厳密なベンチマークとしてMed-StepBenchを確立した。
関連論文リスト
- MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis [61.266743965495884]
異種臨床証拠を合成するモデルの能力を評価するためのベンチマークであるMedReaMMを紹介する。
MedReaMMは625の専門患者と、平均2.79の医療画像と、ICD-11コードで注釈付けされた1,042の標準診断を含む。
23大マルチモーダルモデル (LMM) を評価し, 診断精度が50%未満であることが確認された。
論文 参考訳（メタデータ） (2026-08-23T09:37:53Z) - Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。
実際の患者は1,089件、医療画像は3,760件、専門は8件。
プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文 参考訳（メタデータ） (2026-07-28T16:19:03Z) - RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding [29.104092621171606]
パーセプション・ベンチ(Perception-Bench)は、113万サンプルからなる大規模なベンチマークである。
Perception-Bench を用いた解析の結果,既存のMLLM では,最も基本的な病変を捕捉する能力が欠如していることが判明した。
そこで我々は,デュアル2D/3Dエンコーダアーキテクチャ上に構築された知覚駆動型MLLMであるRadSightを提案する。
論文 参考訳（メタデータ） (2026-07-24T13:35:12Z) - MultiDx: A Multi-Source Knowledge Integration Framework towards Diagnostic Reasoning [66.94527468532843]
2段階の診断推論フレームワークであるMultiDxを提案する。
まず Web 検索,SOAP 形式の症例,臨床症例データベースから知識を活用することにより,疑わしい診断と推論経路を生成する。
そして、マッチング、投票、および差分診断を通じて、複数のパースペクティブエビデンスを統合し、最終的な予測を生成する。
論文 参考訳（メタデータ） (2026-04-27T08:46:29Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - MedObvious: Exposing the Medical Moravec's Paradox in VLMs via Clinical Triage [20.835664121303534]
ビジョン言語モデル(VLM)は、医療報告生成や視覚的質問応答といったタスクにますます使われています。
臨床実践では、解釈は診断前の衛生検査から始まる。
既存のベンチマークでは、このステップが解決されたと仮定しており、致命的な障害モードを見逃している。
我々は1,880タスクのベンチマークであるMedObviousを導入し、入力検証をセットレベルの一貫性機能として分離する。
論文 参考訳（メタデータ） (2026-03-24T17:59:54Z) - M3CoTBench: Benchmark Chain-of-Thought of MLLMs in Medical Image Understanding [66.78251988482222]
CoT(Chain-of-Thought)推論は、ステップバイステップの中間推論を奨励することによって、大規模言語モデルの強化に有効であることが証明されている。
医用画像理解のための現在のベンチマークでは、推論パスを無視しながら最終回答に重点を置いている。
M3CoTBenchは、透明で信頼性が高く、診断的に正確な医療用AIシステムの開発を促進することを目的としている。
論文 参考訳（メタデータ） (2026-01-13T17:42:27Z) - Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models [48.95516224614331]
MedGaze-Benchは、臨床医の視線を認知的カーソルとして活用し、手術、緊急シミュレーション、診断解釈における意図的理解を評価する最初のベンチマークである。
本ベンチマークでは,解剖学的構造の視覚的均一性,臨床における時間・因果依存性の厳格化,安全プロトコルへの暗黙の順守という3つの基本的な課題に対処する。
論文 参考訳（メタデータ） (2026-01-11T02:20:40Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models [54.48710348910535]
既存の医学推論ベンチマークは、主に1回の訪問からの画像に基づいて患者の状態を分析することに焦点を当てている。
臨床訪問における患者の状態の変化を分析するための最初のベンチマークであるTemMed-Benchを紹介する。
論文 参考訳（メタデータ） (2025-09-29T17:51:26Z) - Beyond Classification Accuracy: Neural-MedBench and the Need for Deeper Reasoning Benchmarks [21.203358914772465]
近年の視覚言語モデル (VLM) の進歩は, 標準医学ベンチマークにおいて顕著な性能を発揮しているが, その真の臨床推論能力は未だ不明である。
我々はニューラルメドベンチ(Neural-MedBench)について紹介する。これは、神経学におけるマルチモーダルな臨床推論の限界を調査するためのコンパクトで推論集約的なベンチマークである。
論文 参考訳（メタデータ） (2025-09-26T12:20:01Z) - EH-Benchmark Ophthalmic Hallucination Benchmark and Agent-Driven Top-Down Traceable Reasoning Workflow [43.82288530883818]
EH-Benchmarkは、医学大言語モデルにおける幻覚を評価するために設計された新しい眼科ベンチマークである。
特定のタスクとエラータイプに基づいて幻覚を視覚的理解と論理的構成の2つの主要クラスに分類する。
我々のフレームワークは、両方の幻覚、精度、解釈可能性、信頼性を著しく軽減します。
論文 参考訳（メタデータ） (2025-07-24T12:07:36Z) - DrVD-Bench: Do Vision-Language Models Reason Like Human Doctors in Medical Image Diagnosis? [1.1094764204428438]
臨床ビジュアル推論のための最初のベンチマークであるDrVD-Benchを提案する。
DrVD-Benchは、ビジュアルエビデンス、推論軌道評価、レポート生成評価の3つのモジュールで構成されている。
本ベンチマークでは,20のタスクタイプ,17の診断カテゴリ,CT,MRI,超音波,X線撮影,病理の5つの画像モダリティについて検討した。
論文 参考訳（メタデータ） (2025-05-30T03:33:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。