論文の概要: From Reasoning to Pixels: Grounded Medical Multimodal LLMs for VQA and Segmentation

• arxiv url: http://arxiv.org/abs/2608.26856v1
• Date: Thu, 27 Aug 2026 09:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.326212
• Title: From Reasoning to Pixels: Grounded Medical Multimodal LLMs for VQA and Segmentation
• Title（参考訳）: 画像から画像へ:VQAとセグメンテーションのための接地医療用マルチモーダルLCM
• Abstract要約: textscMedREAL (textbfMedical textbfREasoning-driven textbfAnswering and textbfLocalization)は、言語推論と空間的接地をシームレスに整合させる統一フレームワークである。 textscMedREALは最先端技術よりも優れており、ベンチマーク評価では68.49%のgIoUと70.47%のcIoUを達成している。
• 参考スコア（独自算出の注目度）: 24.67847881046532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although Multimodal Large Language Models (MLLMs) have demonstrated impressive performance in Medical Visual Question Answering (Med-VQA), their reliance on global image features often lacks precise pixel-level grounding, thereby limiting clinical trustworthiness. To bridge the semantic gap between high-level clinical reasoning and spatial localization, we propose \textsc{\textsc{MedREAL}} (\textbf{Med}ical \textbf{RE}asoning-driven \textbf{A}nswering and \textbf{L}ocalization), a unified framework that seamlessly aligns linguistic reasoning with spatial grounding. Specifically, \textsc{MedREAL} introduces \textbf{S}eg \textbf{A}nchored \textbf{R}easoning \textbf{P}ooling (SARP) to distill task-relevant semantic evidence directly from \texttt{[SEG]} tokens within the MLLM's hidden states. Furthermore, a \textbf{R}easoning-to-\textbf{V}isual (R2V) fusion mechanism is proposed to effectively inject these reasoning-aware features into a segmentation pipeline for accurate mask decoding. To facilitate this paradigm, we construct MedRAVS-13K, a comprehensive dataset comprising 13,824 expertly validated samples across four diverse imaging modalities. Extensive experiments demonstrate that \textsc{MedREAL} significantly outperforms state-of-the-arts, achieving 68.49\% gIoU and 70.47\% cIoU on benchmark evaluations. By generating evidence masks that are strictly consistent with textual diagnoses, \textsc{MedREAL} provides a robust, interpretable framework for reasoning-driven medical image analysis.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は,Med-VQA (Med-VQA) において目覚しい性能を示したが,大域的な画像特徴への依存は,正確な画素レベルのグラウンド化を欠くことが多く,臨床の信頼性を損なうことが多かった。 高レベルの臨床推論と空間的局所化のセマンティックなギャップを埋めるために,言語的推論と空間的接地をシームレスに整合させる統一的なフレームワークである \textbf{Med}ical \textbf{RE}asoning-driven \textbf{A}nswering と \textbf{L}ocalization を提案する。 具体的には、 \textbf{S}eg \textbf{A}nchored \textbf{R}easoning \textbf{P}ooling (SARP)を導入し、MLLMの隠された状態内の \texttt{[SEG]} トークンから直接タスク関連セマンティックエビデンスを抽出する。 さらに, 精度の高いマスクデコーディングのためのセグメンテーションパイプラインにこれらの推論認識機能を効果的に注入するために, ダイアソン化-to-\textbf{V}isual (R2V) 融合機構を提案する。 このパラダイムを実現するために、我々はMedRAVS-13Kを構築した。 大規模な実験では、ベンチマーク評価において、 \textsc{MedREAL} は最先端技術を大きく上回り、68.49\% gIoU と 70.47\% cIoU を達成している。 テキスト診断と厳密に整合したエビデンスマスクを生成することにより、推論駆動型医療画像解析のための堅牢で解釈可能なフレームワークを提供する。

関連論文リスト

• Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation [66.62662330558906]
  CORALは、空間的接地と概念レベルの監督を統一的な推論プロセスに統合するマルチモーダルフレームワークである。 コーラルは、疾患の局所化とコンセプション・ボトルネックモジュールによる多クラス臨床属性の予測のために、プロンプト駆動型医療セグメンテーションモデルを採用している。 BUS-CoTとIU X線データセットの実験では、診断精度、概念整合性、報告品質が強力な汎用および医療MLLMよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-09-14T10:21:23Z)
• A Modular Agent for Reliable and Auditable Spatial Relation Verification in CT Scans [7.8047270656196766]
  現代の視覚言語モデル(VLM)は、多くの医療画像タスクにおいて有望な性能を示す。 軸方向CTスライスにおける2値空間関係検証のためのモジュラー医用イメージングエージェントを提案する。 最高の性能のハイブリッド構成は94.1%の精度と94.2%のF1に達し、直接Qwen2-VLよりも42.5ポイント高い精度である。
  論文  参考訳（メタデータ） (2026-08-21T14:16:46Z)
• SCALPEL: Semantic Cross-modal Alignment via LLM-Powered Encoder Learning for Medical Vision-Language Representation [5.487826115955642]
  ビジョン言語による事前訓練は、医学的マルチモーダル表現学習の基盤となる。 textbfLLM-textbfPowered textbfEncoder textbfLearning による textbfSemantic textbfCross-modal textbfAlignment フレームワーク textbfSCALPEL を提案する。
  論文  参考訳（メタデータ） (2026-07-29T13:12:32Z)
• Semi-MedRef: Semi-Supervised Medical Referring Image Segmentation with Cross-Modal Alignment [34.61027348260765]
  半教師付き学習(SSL)は、ラベルのないデータを活用することで、この負担を軽減することができる。 医用画像と位置言語との整合性を明確に維持する教師学生向けSSLフレームワークであるSemi-MedRefを提案する。 QaTa-COV19とMosMedData+の実験は、Semi-MedRefが完全に教師付きベースラインと半教師付きベースラインの両方を一貫して上回っていることを示した。
  論文  参考訳（メタデータ） (2026-05-15T08:15:45Z)
• MedScribe: Clinically Grounded CT Reporting through Agentic Workflows [13.40306812882295]
  視覚言語モデル(VLM)は、自動放射線診断レポート生成の可能性を示している。 我々は,仮説駆動型フレームワークであるMedScribeを紹介し,レポート生成を反復的証拠取得プロセスとして再構築する。
  論文  参考訳（メタデータ） (2026-05-03T08:32:40Z)
• Semantic-Topological Graph Reasoning for Language-Guided Pulmonary Screening [9.742485458627343]
  本稿では,言語誘導肺検診のためのセマンティック・トポロジカルグラフ推論フレームワークを提案する。 我々のアプローチは、視覚基盤モデルのゼロショットデライン化により、大規模言語モデルの推論能力をエレガントに相乗化します。 LIDC-IDRIでは81.5%のDice similarity Coefficient(DSC)を達成し、LISAのようなLLMベースのツールを5%以上上回っている。
  論文  参考訳（メタデータ） (2026-04-07T09:20:55Z)
• Spatial-aware Symmetric Alignment for Text-guided Medical Image Segmentation [7.514759533994352]
  テキスト誘導医療画像は、医用画像のセグメンテーションをかなり約束している。 本研究では,ハイブリッド医療用テキストを参照する能力を高めるため,空間認識型対称アライメント(SSA)フレームワークを提案する。 SSAは、特に空間的制約によって特徴づけられる病変を正確に分断する際に、最先端のSOTA(State-of-the-art)性能を達成する。
  論文  参考訳（メタデータ） (2025-12-28T16:02:42Z)
• S-Chain: Structured Visual Chain-of-Thought For Medicine [81.97605645734741]
  S-Chainは,有界ボックスと構造化ビジュアルCoT(SV-CoT)を備えた,12,000のエキスパートアノテートされた医用画像の最初の大規模データセットである。 データセットはさらに16言語をサポートし、幅広い多言語適用性のための合計700万VQAペアをサポートする。 S-Chainは、根拠のある医療推論のための新しいベンチマークを確立し、より信頼性が高く説明可能な医療ビジョン言語モデルへの道を開く。
  論文  参考訳（メタデータ） (2025-10-26T15:57:14Z)
• MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
  我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。 まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。 次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2025-10-24T02:11:05Z)
• Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images [96.43608872116347]
  AnomReasonは4倍のtextbfAnomAgentのような構造化アノテーションを備えた大規模ベンチマーク AnomReasonとAnomAgentは、AI生成画像の意味的妥当性の測定と改善の基盤となっている。
  論文  参考訳（メタデータ） (2025-10-11T14:09:24Z)
• Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
  医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。 本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。 SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
  論文  参考訳（メタデータ） (2025-09-30T08:59:06Z)
• MedReasoner: Reinforcement Learning Drives Reasoning Grounding from Clinical Thought to Pixel-Level Precision [16.34920560168635]
  我々はまず,新しい視覚言語タスクであるUMRG(Unified Medical Reasoning Grounding)を定義した。 第二にU-MRG-14Kは、暗黙の臨床的クエリと推論トレースを伴い、画素レベルのマスクを特徴とする14Kサンプルのデータセットである。 第3に、セグメンテーションから推論を明確に分離するモジュラーフレームワークであるMedReasonerを紹介します。
  論文  参考訳（メタデータ） (2025-08-11T16:59:06Z)
• MedSeg-R: Reasoning Segmentation in Medical Images with Multimodal Large Language Models [48.24824129683951]
  本稿では,複雑で暗黙的な医療指導に基づくセグメンテーションマスク作成を目的とした新しい課題である医用画像推論セグメンテーションを紹介する。 そこで本稿では,MLLMの推論能力を利用して臨床問題を理解するエンドツーエンドフレームワークであるMedSeg-Rを提案する。 1)画像の解釈と複雑な医用命令の理解を行い,マルチモーダルな中間トークンを生成するグローバルコンテキスト理解モジュール,2)これらのトークンをデコードして正確なセグメンテーションマスクを生成するピクセルレベルのグラウンドモジュールである。
  論文  参考訳（メタデータ） (2025-06-12T08:13:38Z)
• VLM-R$^3$: Region Recognition, Reasoning, and Refinement for Enhanced Multimodal Chain-of-Thought [51.43082554363725]
  textbfVLM-R$3$ (textbfVisual textbfLanguage textbfModel with textbfRegion textbfRecognition and textbfReasoning) はMLLMに付加的な視覚的証拠が必要な場合にエフェクトを決定する機能を提供するフレームワークである。 MathVista、ScienceQA、その他のベンチマークの実験は、VLM-R$3$が新しいものを設定することを示している
  論文  参考訳（メタデータ） (2025-05-22T03:50:13Z)
• Describe Anything in Medical Images [32.785523415007]
  医用画像の領域別キャプションに大規模視覚言語モデルを活用する,初の包括的フレームワークであるMedDAMを提案する。 MedDAMは特定の画像モダリティに合わせて医療専門家が設計したプロンプトを採用し、堅牢な評価ベンチマークを確立する。 本ベンチマークは,属性レベル検証タスクによる臨床事実性に着目し,MedDAMと他の大規模視覚言語モデルの両方を評価する。
  論文  参考訳（メタデータ） (2025-05-09T05:45:31Z)
• FlowSDF: Flow Matching for Medical Image Segmentation Using Distance Transforms [60.195642571004804]
  本稿では,セグメンテーションマスクの暗黙分布を表現するために,画像誘導型条件付きフローマッチングフレームワークであるFlowSDFを紹介する。 本フレームワークは,セグメンテーションマスクの正確なサンプリングと関連する統計指標の計算を可能にする。
  論文  参考訳（メタデータ） (2024-05-28T11:47:12Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。