論文の概要: Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2606.31825v1
• Date: Tue, 30 Jun 2026 15:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.287015
• Title: Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning
• Title（参考訳）: 障害カスケードを破る:医療マルチモーダル推論のためのステップアウェア強化学習
• Abstract要約: 早期の推論失敗からのカスケードエラーは、医学的な視覚的質問応答ベンチマークにおいて、誤った予測の主因である。 本稿では,段階的プロセス報酬を組み込んだRLアルゴリズムMRPOを提案する。
• 参考スコア（独自算出の注目度）: 14.934624073394454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO
• Abstract（参考訳）: 最近の多モーダル大規模言語モデルは臨床画像推論において大きな可能性を秘めているが、既存の訓練後のパイプラインは最終回答の正しさやシーケンスレベルの嗜好に頼って結果中心のままである。 これは軽度のクレジット割り当てに悩まされ、臨床応用に必要な推論プロセスの最適化が困難になる。 分析の結果,早期の推論失敗によるカスケードエラーが,医用視覚質問応答(VQA)ベンチマークにおける誤予測の主因であることが判明した。 そこで我々は,段階的プロセス報酬を組み込んだRLアルゴリズムMRPOを提案する。 最後の答えが正しくない場合、MRPOは早期の不正推論ステップにおいてトークンに対して指数関数的に大きな罰則を割り当て、失敗カスケードを成功経路を損なうことなく破壊する。 MRPOは3つのマルチモーダルLLMバックボーンの中で、標準GRPOと最近のRLベースラインを一貫して上回り、Qwen3-VL-8B-Instructでは、HuatuoGPT-Vision-34Bのようなかなり大きな医療MLLMを2.79ポイント上回っている。 さらに、MRPOは早期の推論失敗を64.0%から13.0%に減らし、カスケード障害の標的の緩和が推論品質と最終的な回答精度の両方を改善することを示した。 私たちのコードはhttps://github.com/dmis-lab/MRPOで利用可能です。

関連論文リスト

• LC-ERD: Mining Latent Logic for Self-Evolving Reasoning via Consistency-Regulated Reward Decomposition [55.572260012037084]
  本稿では, LC-ERD (Logic-Consistent Endogenous Reward Decomposition) を紹介する。 モデルの潜在論理エキスパートズ(Latent Logic Expertise)からのコンセンサスを集約することで、変分論理ポテンシャルを導出する。 LC-ERDは、論理の一貫性と正確性の間のトレードオフを明らかにする、堅牢な自己進化パスを提供する。
  論文  参考訳（メタデータ） (2026-05-19T07:27:50Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• Benchmarking Direct Preference Optimization for Medical Large Vision-Language Models [19.558012394552954]
  医学領域内における多様なDPO変異の包括的検討を初めて行った。 現在のDPOアプローチでは、教師付き微調整よりも一貫性のない利得が得られることが多い。 彼らはしばしば、根本的な視覚的誤解釈の誤りを解決するのに失敗する。
  論文  参考訳（メタデータ） (2026-01-25T17:36:53Z)
• Knowing the Answer Isn't Enough: Fixing Reasoning Path Failures in LVLMs [85.37131922131657]
  我々はLVLM(Large Vision-Language Models)の重大な欠陥を明らかにした。 これらのモデルが正しい答えを知っていても、誤った推論経路を通じて頻繁にそこに到達します。 PSO(Path-Select Optimization)は,既存のLVLMの推論性能と安定性を両立させる2段階のポストトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-12-06T03:02:55Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• Accelerating LLM Reasoning via Early Rejection with Partial Reward Modeling [12.835376812101323]
  PRMも部分的リワードモデルであるという仮説を導入する。 これにより、中間トークンレベル信号に基づく原理的な早期拒絶が可能となる。 算数推論のベンチマークでは、最終的な性能を劣化させることなく、最大1.4$times$-9$times$の推論FLOPを削減できる。
  論文  参考訳（メタデータ） (2025-08-04T00:58:56Z)
• Lost at the Beginning of Reasoning [85.17612793300238]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)
• ReasonMed: A 370K Multi-Agent Generated Dataset for Advancing Medical Reasoning [54.30630356786752]
  ReasonMedは、これまでで最大の医療推論データセットで、370万の高品質な例がある。 マルチエージェント生成、検証、改善プロセスを通じて構築される。 ReasonMedを用いて、簡潔な答えの要約と詳細なCoT推論を統合することで、最も堅牢な微調整結果が得られる。
  論文  参考訳（メタデータ） (2025-06-11T08:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。