論文の概要: MedFrameQA: A Multi-Image Medical VQA Benchmark for Clinical Reasoning
- arxiv url: http://arxiv.org/abs/2505.16964v1
- Date: Thu, 22 May 2025 17:46:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:48.513059
- Title: MedFrameQA: A Multi-Image Medical VQA Benchmark for Clinical Reasoning
- Title（参考訳）: MedFrameQA: 臨床推論のためのマルチイメージ医療用VQAベンチマーク
- Authors: Suhao Yu, Haojin Wang, Juncheng Wu, Cihang Xie, Yuyin Zhou,
- Abstract要約: 既存の医療用VQAベンチマークは、主にシングルイメージ分析に焦点を当てている。
医療用VQAにおけるマルチイメージ推論を明示的に評価する最初のベンチマークであるMedFrameQAを紹介する。
- 参考スコア（独自算出の注目度）: 24.9872402922819
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing medical VQA benchmarks mostly focus on single-image analysis, yet clinicians almost always compare a series of images before reaching a diagnosis. To better approximate this workflow, we introduce MedFrameQA -- the first benchmark that explicitly evaluates multi-image reasoning in medical VQA. To build MedFrameQA both at scale and in high-quality, we develop 1) an automated pipeline that extracts temporally coherent frames from medical videos and constructs VQA items whose content evolves logically across images, and 2) a multiple-stage filtering strategy, including model-based and manual review, to preserve data clarity, difficulty, and medical relevance. The resulting dataset comprises 2,851 VQA pairs (gathered from 9,237 high-quality frames in 3,420 videos), covering nine human body systems and 43 organs; every question is accompanied by two to five images. We comprehensively benchmark ten advanced Multimodal LLMs -- both proprietary and open source, with and without explicit reasoning modules -- on MedFrameQA. The evaluation challengingly reveals that all models perform poorly, with most accuracies below 50%, and accuracy fluctuates as the number of images per question increases. Error analysis further shows that models frequently ignore salient findings, mis-aggregate evidence across images, and propagate early mistakes through their reasoning chains; results also vary substantially across body systems, organs, and modalities. We hope this work can catalyze research on clinically grounded, multi-image reasoning and accelerate progress toward more capable diagnostic AI systems.
- Abstract（参考訳）: 既存の医療用VQAベンチマークは、主に単画像分析に焦点を当てているが、臨床医は診断に達する前に、ほとんど常に一連の画像を比較している。
このワークフローをよりよく近似するために、医療用VQAのマルチイメージ推論を明示的に評価する最初のベンチマークであるMedFrameQAを紹介します。
MedFrameQAを大規模かつ高品質に構築するために,我々は開発を行う。
1) 医用ビデオから時間的コヒーレントなフレームを抽出し、コンテンツが画像全体にわたって論理的に進化するVQAアイテムを構築する自動パイプライン。
2)データ明細度,難易度,医療関連性を維持するため,モデルベースおよび手動レビューを含む多段階フィルタリング戦略を提案する。
得られたデータセットは、2,851組のVQAペア(9,237組の高品質なフレームから3,420本のビデオで収集)で、9つの人体システムと43の臓器をカバーしている。
MedFrameQAでは、プロプライエタリかつオープンソース、明示的な推論モジュールなしの10の先進的なMultimodal LLMを総合的にベンチマークしています。
評価の結果、全てのモデルでは50%未満の精度で性能が悪く、1問あたりの画像数が増加するにつれて精度が変動することが明らかとなった。
誤り分析は、モデルが正常な発見を頻繁に無視し、画像間で証拠を誤収集し、推論連鎖を通じて早期の誤りを伝播することを示し、その結果は身体系、臓器、モダリティによって大きく異なることも示している。
この研究が臨床に根ざしたマルチイメージ推論の研究を触媒し、より有能な診断AIシステムへの進歩を加速することを願っている。
関連論文リスト
- Hierarchical Modeling for Medical Visual Question Answering with Cross-Attention Fusion [4.821565717653691]
Med-VQA (Medicical Visual Question Answering) は、医療画像を用いて臨床的な疑問に答え、診断を支援する。
本研究では, 詳細な医療質問に対する階層型プロンプティングと階層型アンサーデコーダの2つのモジュールを含むHiCA-VQA法を提案する。
Rad-Restructベンチマークの実験により、HiCA-VQAフレームワークは階層的なきめ細かい質問に答える上で、既存の最先端メソッドよりも優れていることが示されている。
論文 参考訳（メタデータ） (2025-04-04T03:03:12Z) - iMedImage Technical Report [5.0953390013898705]
染色体核型解析は遺伝性疾患の診断に不可欠であるが, 構造異常の検出は依然として困難である。
一般医用画像認識のためのエンド・ツー・エンド・エンド・モデルiMedImageを開発した。
論文 参考訳（メタデータ） (2025-03-27T03:25:28Z) - Med-R1: Reinforcement Learning for Generalizable Medical Reasoning in Vision-Language Models [6.176432104264649]
視覚言語モデル(VLM)は、自然画像の推論において顕著な進歩を遂げているが、医療画像におけるその可能性はまだ探索されていない。
医用推論における一般化と信頼性の向上を目的とした強化学習(RL)による視覚言語モデルであるMed-R1を提案する。
我々はMed-R1を8つの異なる医用画像モダリティで評価した。
論文 参考訳（メタデータ） (2025-03-18T06:12:38Z) - Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。
医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。
実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
論文 参考訳（メタデータ） (2024-11-14T06:19:18Z) - Large-scale Long-tailed Disease Diagnosis on Radiology Images [51.453990034460304]
RadDiagは、様々なモダリティと解剖学にわたる2Dおよび3D入力をサポートする基礎モデルである。
私たちのデータセットであるRP3D-DiagDSは、5,568の障害をカバーする195,010のスキャンで40,936の症例を含む。
論文 参考訳（メタデータ） (2023-12-26T18:20:48Z) - Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。
OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。
本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
論文 参考訳（メタデータ） (2023-07-27T20:36:02Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - PMC-VQA: Visual Instruction Tuning for Medical Visual Question Answering [56.25766322554655]
MedVQA(Medicical Visual Question Answering)は、診断精度と医療提供を向上する重要な機会を提供する。
本稿では,事前学習した視覚エンコーダの視覚情報を大規模言語モデルに整列させることにより,医用視覚理解のための生成モデルを提案する。
PMC-VQAで提案されたモデルをトレーニングし、VQA-RAD、SLAKE、Image-Clef 2019など、複数の公開ベンチマークで微調整する。
論文 参考訳（メタデータ） (2023-05-17T17:50:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。