論文の概要: Reliability Stress Tests and Decision-Time Routing for Chest X-ray Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.02270v1
- Date: Thu, 01 Oct 2026 06:23:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.023612
- Title: Reliability Stress Tests and Decision-Time Routing for Chest X-ray Vision-Language Models
- Title(参考訳): 胸部X線ビジョンランゲージモデルに対する信頼性応力試験と決定時間ルーティング
- Abstract要約: 2つのバランスの取れたデータセット上に構築された胸部X線解釈のための信頼性ストレステストを導入する。
正確なマッチング精度だけでは、"Normal"予測をデフォルトとする保守的モデルの有効性を誇張できることを示す。
本稿では,多エージェント推論に選択的にエスカレートする決定時間ルーティングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 13.460970040118811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical vision-language model (VLM) evaluation is sensitive to workflow design, prompting strategy, and benchmark construction, yet most studies treat these factors in isolation. We introduce a reliability stress test for chest X-ray interpretation built on two balanced datasets (a private report-backed set and a curated MIMIC subset). Three medical VLMs (CheXagent, MedGemma-4B, and MedGemma-27B) are evaluated across three prompt styles and two workflows (single-VLM and multi-agent), producing 36 configurations. We show that exact-match accuracy alone can overstate the effectiveness of conservative models that default to "Normal" predictions. Diagnostic reliability also depends heavily on model family and scale: multi-agent reasoning helps some configurations but hurts others. Building on these observations, we propose a decision-time routing framework that selectively escalates to multi-agent inference only when beneficial, improving the cost-quality trade-off over fixed workflows. Our results highlight the need for evaluation protocols that jointly consider prompt sensitivity, failure-mode diversity, and workflow choice before clinical deployment.
- Abstract(参考訳): 医用視覚言語モデル(VLM)の評価は、ワークフロー設計、プロンプト戦略、ベンチマーク構築に敏感であるが、ほとんどの研究はこれらの要因を分離して扱う。
2つのバランスの取れたデータセット(プライベートレポート支援セットとキュレートMIMICサブセット)上に構築された胸部X線解釈のための信頼性ストレステストを導入する。
3つの医療用VLM(CheXagent、MedGemma-4B、MedGemma-27B)を3つのプロンプトスタイルと2つのワークフロー(シングルVLMとマルチエージェント)で評価し、36の構成を生成する。
正確なマッチング精度だけでは、"Normal"予測をデフォルトとする保守的モデルの有効性を誇張できることを示す。
診断の信頼性はモデルファミリやスケールにも大きく依存します。
これらの観測に基づいて,複数エージェント推論に選択的にエスカレートする決定時間ルーティングフレームワークを提案し,固定ワークフローに対するコスト品質のトレードオフを改善した。
本研究は, 早期の感受性, 障害モードの多様性, および臨床展開前のワークフロー選択を共同で検討する評価プロトコルの必要性を強調した。
関連論文リスト
- Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。
MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
論文 参考訳(メタデータ) (2026-06-09T06:38:36Z) - Tree-of-Evidence: Efficient "System 2" Search for Faithful Multimodal Grounding [1.6365003324232734]
Inference-time search algorithm that frames interpretability as a individual optimization problem。
ToEは、粗いグループまたはデータの単位をスコアする軽量なEvidence Bottleneckを採用し、モデルの予測を再現するために必要なコンパクトなエビデンスを特定するためにビームサーチを実行する。
スパースエビデンス予算の下では、ToEは他のアプローチよりも高い決定合意と低い確率忠実度誤差を達成する。
論文 参考訳(メタデータ) (2026-04-09T01:28:14Z) - CARE: Towards Clinical Accountability in Multi-Modal Medical Reasoning with an Evidence-Grounded Agentic Framework [29.22693846221723]
マルチモーダル・メディカル・推論における,エビデンス・グラウンドド・エージェント・フレームワークによる臨床説明可能性の向上について紹介する。
CAREはタスクを調整されたサブモジュールに分解し、ショートカット学習と幻覚を減らす。
私たちのCARE-Flowは、同じサイズ(10B)のSOTA(State-of-the-art)よりも平均精度を10.9%向上させる
論文 参考訳(メタデータ) (2026-03-02T08:38:37Z) - M3CoTBench: Benchmark Chain-of-Thought of MLLMs in Medical Image Understanding [66.78251988482222]
CoT(Chain-of-Thought)推論は、ステップバイステップの中間推論を奨励することによって、大規模言語モデルの強化に有効であることが証明されている。
医用画像理解のための現在のベンチマークでは、推論パスを無視しながら最終回答に重点を置いている。
M3CoTBenchは、透明で信頼性が高く、診断的に正確な医療用AIシステムの開発を促進することを目的としている。
論文 参考訳(メタデータ) (2026-01-13T17:42:27Z) - MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。
まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。
次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
論文 参考訳(メタデータ) (2025-10-24T02:11:05Z) - On Arbitrary Predictions from Equally Valid Models [49.56463611078044]
モデル多重性(英: Model multiplicity)とは、同じ患者に対して矛盾する予測を認める複数の機械学習モデルを指す。
たとえ小さなアンサンブルであっても、実際は予測的多重性を緩和・緩和できることを示す。
論文 参考訳(メタデータ) (2025-07-25T16:15:59Z) - How Far Have Medical Vision-Language Models Come? A Comprehensive Benchmarking Study [16.84832179579428]
VLM(Vision-Language Models)は、Webスケールのコーパスを訓練し、自然画像のタスクに優れ、医療に利用されつつある。
本稿では,8つのベンチマークを用いて,オープンソース汎用および医療専門のVLMの総合評価を行う。
まず、大規模な汎用モデルは、いくつかのベンチマークで、すでに医学固有のモデルと一致しているか、あるいは超えている。
第二に、推論のパフォーマンスは理解よりも一貫して低く、安全な意思決定支援にとって重要な障壁を強調します。
論文 参考訳(メタデータ) (2025-07-15T11:12:39Z) - Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models [52.2001050216955]
既存の方法は、モデル構造を調整したり、高品質なデータで微調整したり、好みの微調整によって、医療ビジョン言語モデル(MedVLM)の性能を向上させることを目的としている。
我々は,MedVLMと臨床専門知識の連携を図るために,Expert-Controlled-Free Guidance (Expert-CFG) という,ループ内のエキスパート・イン・ザ・ループフレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-12T09:03:30Z) - SURE-VQA: Systematic Understanding of Robustness Evaluation in Medical VQA Tasks [2.033441577169909]
VLM(Vision-Language Models)は、VQA(Visual Question Answering)のような医療タスクにおいて大きな可能性を秘めている。
目に見えないデータに対する分散シフトに対する堅牢性は、安全なデプロイメントにとって重要な関心事です。
私たちは、現在の落とし穴を克服する3つの重要な要件を中心に、SURE-VQAと呼ばれる新しいフレームワークを紹介します。
論文 参考訳(メタデータ) (2024-11-29T13:22:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。