論文の概要: Offline-Online Curriculum RL for Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2607.23700v1
• Date: Sun, 26 Jul 2026 14:47:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.206365
• Title: Offline-Online Curriculum RL for Multimodal Reasoning
• Title（参考訳）: オフライン型マルチモーダル推論用カリキュラムRL
• Authors: Wendi Deng, Hang Du, Guoshun Nan, Haokun Tian, Jiaqi Yu, Xinlei Cao, Jaile Li, Jingfeng Chen, Ling Deng, Ting Li, Hao Yang, Jun Liu, Xudong Jiang, Sicong Leng,
• Abstract要約: マルチモーダルな大規模言語モデルは、推論タスクの能力を示すが、しばしば欠陥のある中間ステップを生成し、正しい最終回答を得る。 O2$-CritiCuRLという新しいカリキュラム強化学習フレームワークを提案する。 オフラインの段階では、$O2$-CritiCuRLはステップアノテートされた軌道上の複数ロールアウト解析を行い、ステップレベルの重要性を推定する。 オンラインの段階では、進行的な段階的な強化学習戦略を採用しており、切り詰められた連鎖がモデルをガイドし、欠落したステップを推測し、その推論を洗練させる。
• 参考スコア（独自算出の注目度）: 28.712061130761654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models exhibit capabilities on reasoning tasks, yet often produce flawed intermediate steps while yielding correct final answers. This behavior undermines interpretability and reliability, suggesting reliance on spurious shortcuts rather than faithful reasoning. Although efforts have explored step-level supervision, distinguishing decisive steps from redundant ones remains challenging. We propose $O^2$-CritiCuRL, a novel curriculum reinforcement learning framework that introduces critical-step awareness through an iterative offline-online paradigm. In the offline stage, $O^2$-CritiCuRL conducts multi-rollout analysis over step-annotated trajectories to estimate step-level importance, allowing the framework to distill critical reasoning steps and filter out redundant ones. In the online stage, we employ a progressive step-level reinforcement learning strategy, where truncated chains guide the model to infer missing steps and refine its reasoning, thereby sharpening its focus on critical steps and overcoming the limitations of static supervision. Extensive experiments on multimodal reasoning benchmarks show that our method achieves state-of-the-art performance while delivering superior training and inference efficiency. Code is available at https://github.com/kk0013/CritiCuRL.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは、推論タスクの能力を示すが、しばしば欠陥のある中間ステップを生成し、正しい最終回答を得る。 この行動は解釈可能性と信頼性を損なうものであり、忠実な推論よりも急激なショートカットに依存することを示唆している。 ステップレベルの監視を探求してきたが、決定的なステップと冗長なステップを区別することは依然として困難である。 O^2$-CritiCuRLという新しいカリキュラム強化学習フレームワークを提案する。 オフラインの段階では、$O^2$-CritiCuRL はステップアノテートされた軌道上のマルチロールアウト解析を行い、ステップレベルの重要度を推定する。 オンラインの段階では、進行段階の強化学習戦略を採用しており、切り離された連鎖は、欠落したステップを推測し、その推論を洗練させ、重要なステップに焦点を絞り、静的監視の限界を克服する。 マルチモーダル推論ベンチマークの大規模な実験により,本手法はより優れたトレーニングと推論効率を実現するとともに,最先端の性能を実現する。 コードはhttps://github.com/kk0013/CritiCuRLで入手できる。

関連論文リスト

• STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning [80.78140312980484]
  我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。 我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。 様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T11:04:31Z)
• Reasoning Fails Where Step Flow Breaks [9.62455367512369]
  本稿では,段階的なスコアを質問-思考-終末軌道に沿ったステップ・ツー・ステップマップにプールするステップ・サリエンシを紹介する。 いくつかのモデルで、Shallow Lock-inとDeep Decayの2つの繰り返し発生する情報フロー障害が明らかになった。 我々は、Odds-Equal Bridgeを介してSteep-Saliencyによって測定された浅度なSteep-Saliencyパターンを調整し、Step Momentum Injectionを介して深層に小さなステップレベルの残差を追加するSteepFlowを提案する。
  論文  参考訳（メタデータ） (2026-04-08T05:21:13Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• StepWiser: Stepwise Generative Judges for Wiser Reasoning [52.32416311990343]
  プロセス報酬モデルは、ステップバイステップのフィードバックを提供することによって、この問題に対処する。 近年の進歩に触発されて、分類タスクから推論タスク自体への段階的な報酬モデリングを再構築しました。 既存の手法よりも中間段階の精度が向上し, (ii) 訓練時の政策モデルの改善に利用でき, (iii) 推論時探索の改善が図られている。
  論文  参考訳（メタデータ） (2025-08-26T17:45:05Z)
• Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
  CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。 本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:04:51Z)
• Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback [94.25162866972077]
  Step-KTOは、プロセスレベルと結果レベルのバイナリフィードバックを組み合わせたトレーニングフレームワークである。 実験の結果,Step-KTOは最終回答の精度と中間推論の質の両方を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-01-18T15:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。