論文の概要: Token-Sparse Medical Multimodal Reasoning via Dual-Stream Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.31599v1
- Date: Tue, 30 Jun 2026 12:47:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.216799
- Title: Token-Sparse Medical Multimodal Reasoning via Dual-Stream Reinforcement Learning
- Title（参考訳）: デュアルストリーム強化学習によるToken-Sparse医療マルチモーダル推論
- Abstract要約: 強化学習(RL)を組み合わせた視覚フィードバックモデル(VLM)は,マルチモーダル推論における顕著な進歩を浮き彫りにする。
グラウンドディング領域外におけるプルーニング視覚トークンは,医学的推論を大幅に向上させる。
本稿では,トークンプルーニングと質問応答を実現するために,双方向ストリームRLフレームワークであるViToSを提案する。
- 参考スコア（独自算出の注目度）: 22.362445997124837
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Vision-language models (VLMs) combining reinforcement learning (RL) ignite remarkable progress in multimodal reasoning, yet still struggle with medical images, which typically exhibit extremely sparse visual evidence to inform clinical decision-making. We recognize that pruning visual tokens outside the grounding region greatly enhances medical reasoning. However, a united RL framework for active visual token pruning (VTP) and medical multimodal reasoning remains unestablished. Here, we propose a dual-stream RL framework, ViToS, to fulfill token pruning and question answering. ViToS trains one policy model with two task branches, where one focuses on grounding while the other conducts token-sparse reasoning after VTP. Furthermore, we solve the coupled policy learning problem by introducing the cross-feedback sequential optimization, avoiding gradient conflict and facilitating convergence of the shared policy model. Evaluated on seven medical benchmarks, our method reduces visual tokens to 77% of the original sequence length while achieving a 108.27% relative performance on Lingshu-7B and 104.16% relative performance on HuatuoGPT-Vision-7B. Overall, ViToS delivers superior performance and inference speedup, establishing an efficient paradigm for medical multimodal reasoning.
- Abstract（参考訳）: 視覚言語モデル(VLM)と強化学習(RL)を組み合わせることで、多モーダル推論の顕著な進歩がもたらされるが、医療画像に苦戦している。
グラウンドディング領域外におけるプルーニング視覚トークンは,医学的推論を大幅に向上させる。
しかし、アクティブ・ビジュアル・トークン・プルーニング(VTP)と医療用マルチモーダル推論のための統合されたRLフレームワークは確立されていない。
本稿では,トークンプルーニングと質問応答を実現するために,双方向ストリームRLフレームワークであるViToSを提案する。
ViToSは2つのタスクブランチで1つのポリシーモデルをトレーニングし、1つは接地に焦点を当て、もう1つはVTP後にトークンスパース推論を実行する。
さらに、クロスフィードバックシーケンシャル最適化を導入し、グラデーションコンフリクトを回避し、共有ポリシモデルの収束を容易にすることで、協調したポリシー学習問題を解決する。
7つの医学ベンチマークで評価した結果,Lingshu-7Bでは108.27%,HuatuoGPT-Vision-7Bでは104.16%であった。
全体として、ViToSは優れたパフォーマンスと推論のスピードアップを提供し、医療マルチモーダル推論の効率的なパラダイムを確立している。
関連論文リスト
- VITAL: Visual-Semantic Dual Supervision for Enhanced and Interpretable Latent Reasoning in Medical MLLMs [42.047738141438344]
VITALは、ビジュアル・セマンティック二重監視を備えた医療MLLMのための潜在空間推論フレームワークである。
我々は、9つの画像モダリティにまたがる61Kデータセットを構築し、それ以前の医用視覚遅延推論データセットを桁違いに超えた。
論文 参考訳（メタデータ） (2026-05-27T12:53:13Z) - Visually-Guided Policy Optimization for Multimodal Reasoning [60.035908460318126]
本稿では,VGPO(Visually-Guided Policy Optimization)を提案する。
VGPOは当初、視覚的類似性を活用して視覚的手がかりをローカライズし増幅する視覚的注意補償機構を導入した。
VGPOは、数学的多モーダル推論や視覚依存タスクにおいて、より優れた視覚的活性化と優れた性能を実現する。
論文 参考訳（メタデータ） (2026-04-10T14:22:38Z) - Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。
結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。
マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
論文 参考訳（メタデータ） (2026-04-08T07:48:07Z) - From Narrow to Panoramic Vision: Attention-Guided Cold-Start Reshapes Multimodal Reasoning [72.4876727619987]
推論性能は視覚注意スコア(VAS)と強く相関していることがわかった。
その因果的役割を検証するため、推論中の注意配分を直接調整する訓練不要な介入を設計する。
本研究では、視覚的アンコールデータ合成、注意誘導目的、視覚的アンコール報酬形成を統合した総合的なコールドスタートフレームワークである注意誘導視覚アンコールとリフレクションを提案する。
論文 参考訳（メタデータ） (2026-03-04T08:22:27Z) - Benchmarking Direct Preference Optimization for Medical Large Vision-Language Models [19.558012394552954]
医学領域内における多様なDPO変異の包括的検討を初めて行った。
現在のDPOアプローチでは、教師付き微調整よりも一貫性のない利得が得られることが多い。
彼らはしばしば、根本的な視覚的誤解釈の誤りを解決するのに失敗する。
論文 参考訳（メタデータ） (2026-01-25T17:36:53Z) - S-Chain: Structured Visual Chain-of-Thought For Medicine [81.97605645734741]
S-Chainは,有界ボックスと構造化ビジュアルCoT(SV-CoT)を備えた,12,000のエキスパートアノテートされた医用画像の最初の大規模データセットである。
データセットはさらに16言語をサポートし、幅広い多言語適用性のための合計700万VQAペアをサポートする。
S-Chainは、根拠のある医療推論のための新しいベンチマークを確立し、より信頼性が高く説明可能な医療ビジョン言語モデルへの道を開く。
論文 参考訳（メタデータ） (2025-10-26T15:57:14Z) - MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。
まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。
次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
論文 参考訳（メタデータ） (2025-10-24T02:11:05Z) - Think Twice to See More: Iterative Visual Reasoning in Medical VLMs [21.083636394814217]
私たちは、人間の専門家の反復的推論プロセスをエミュレートするフレームワークViTARを紹介します。
ViTARは、医療画像をインタラクティブなオブジェクトとして扱い、モデルが多段階の視覚的推論を行えるようにする。
論文 参考訳（メタデータ） (2025-10-11T06:39:57Z) - Spotlight on Token Perception for Multimodal Reinforcement Learning [65.97597482517425]
RLVR(Reinforcement Learning with Verifiable Rewards)は、LVLM(Large Vision-Language Models)の推論能力を向上した。
本稿では,トークン認識の新しい視点を通して,マルチモーダルRLVRの先駆的な探索を行う。
本稿では、トークン認識を明示的に活用して学習信号を洗練する新しいポリシー勾配アルゴリズムである視覚知覚政策最適化(VPPO)を提案する。
論文 参考訳（メタデータ） (2025-10-10T11:25:33Z) - Discovering Pathology Rationale and Token Allocation for Efficient Multimodal Pathology Reasoning [25.707757721296627]
多モード画像理解は、診断精度を向上させる可能性から、広く関心を集めている。
既存の手法では推論能力が限られており、複雑な診断シナリオを扱う能力を妨げている。
本稿では,2つの相乗的分枝からなる二元的強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-21T16:03:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。