論文の概要: Rethinking Reinforcement Fine-Tuning in LVLM: Convergence, Reward Decomposition, and Generalization

• arxiv url: http://arxiv.org/abs/2604.19857v1
• Date: Tue, 21 Apr 2026 17:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.658586
• Title: Rethinking Reinforcement Fine-Tuning in LVLM: Convergence, Reward Decomposition, and Generalization
• Title（参考訳）: LVLMにおける強化微調整の再考:収束, 逆分解, 一般化
• Authors: Carter Adams, Rafael Oliveira, Gabriel Almeida, Sofia Torres,
• Abstract要約: RLVR(Reinforcement fine-tuning with verible rewards)は、大きな視覚言語モデル(LVLM)にツールの使用や多段階推論などのエージェント機能を持たせるための強力なパラダイムとして登場した。 顕著な経験的成功にもかかわらず、特に視覚エージェント強化細管(Visual Agentic Reinforcement Fine-Tuning, Visual-ARFT)は、このパラダイムの理論的基盤は理解されていない。 EmphTool-Augmented Markov Decision Process (TA-MDP)を導入する。
• 参考スコア（独自算出の注目度）: 3.579200789027982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement fine-tuning with verifiable rewards (RLVR) has emerged as a powerful paradigm for equipping large vision-language models (LVLMs) with agentic capabilities such as tool use and multi-step reasoning. Despite striking empirical successes, most notably Visual Agentic Reinforcement Fine-Tuning (Visual-ARFT), the theoretical underpinnings of this paradigm remain poorly understood. In particular, two critical questions lack rigorous answers: (i)~how does the composite structure of verifiable rewards (format compliance, answer accuracy, tool executability) affect the convergence of Group Relative Policy Optimization (GRPO), and (ii)~why does training on a small set of tool-augmented tasks transfer to out-of-distribution domains? We address these gaps by introducing the \emph{Tool-Augmented Markov Decision Process} (TA-MDP), a formal framework that models multimodal agentic decision-making with bounded-depth tool calls. Within this framework, we establish three main results. First, we prove that GRPO under composite verifiable rewards converges to a first-order stationary point at rate $O(1/\sqrt{T})$ with explicit dependence on the number of reward components and group size (\textbf{Theorem~1}). Second, we derive a \emph{Reward Decomposition Theorem} that bounds the sub-optimality gap between decomposed per-component optimization and joint optimization, providing a precise characterization of when reward decomposition is beneficial (\textbf{Theorem~2}). Third, we establish a PAC-Bayes generalization bound for tool-augmented policies that explains the strong out-of-distribution transfer observed in Visual-ARFT (\textbf{Theorem~3}).
• Abstract（参考訳）: RLVR(Reinforcement fine-tuning with verible rewards)は、大きな視覚言語モデル(LVLM)にツールの使用や多段階推論などのエージェント機能を持たせるための強力なパラダイムとして登場した。 顕著な経験的成功にもかかわらず、特に視覚的エージェント強化細調整(Visual Agentic Reinforcement Fine-Tuning, Visual-ARFT)は、このパラダイムの理論的基盤は理解されていない。 特に、2つの重要な質問には厳格な答えが欠けている。 (i)~検証可能な報酬(形式コンプライアンス、回答精度、ツール実行可能性)の複合構造が集団相対政策最適化(GRPO)の収束にどのように影響するか、 (ii)~なぜツール拡張タスクのトレーニングをアウト・オブ・ディストリビューション・ドメインに移行させるのか? これらのギャップに対処するために, 境界深度ツールコールによるマルチモーダルエージェント決定をモデル化する形式的フレームワークである \emph{Tool-Augmented Markov Decision Process} (TA-MDP) を導入する。 このフレームワークでは、3つの主要な結果が得られます。 まず、合成検証可能な報酬の下のGRPOが、報酬成分の数と群サイズに明示的に依存した$O(1/\sqrt{T})$で一階定常点に収束することを証明する(\textbf{Theorem~1})。 第二に、分解された成分ごとの最適化と共同最適化の間の準最適ギャップを束縛する \emph{Reward Decomposition Theorem} を導出し、報酬分解がいつ有用であるかを正確に評価する(\textbf{Theorem~2})。 第3に,Visual-ARFT (\textbf{Theorem~3}) で観測される強いアウト・オブ・ディストリビューション・トランスファーを説明するツール拡張ポリシーに対するPAC-Bayesの一般化を確立する。

関連論文リスト

• OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks [81.07598709704628]
  標準線形スケーリングを非線形分布マッチングに置き換える新しいRLトレーニング目標を提案する。 また、高度に堅牢で汎用的なマルチモーダルモデルであるOpenVLThinkerV2を提案する。
  論文  参考訳（メタデータ） (2026-04-09T17:59:39Z)
• PRISM: A Principled Framework for Multi-Agent Reasoning via Gain Decomposition [42.31805270016533]
  大規模言語モデル(LLM)の推論能力を高めるための有望なパラダイムとして,マルチエージェントコラボレーションが登場した。 既存のアプローチは、パフォーマンス向上を駆動する原則的なガイダンスや、マルチエージェント推論を体系的に最適化する方法が欠如している。 マルチエージェント推論ゲインを3つの概念的に独立な次元に分解する統合理論フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-09T12:24:56Z)
• P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
  本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。 P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
  論文  参考訳（メタデータ） (2026-01-28T14:35:20Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• GDEPO: Group Dual-dynamic and Equal-right-advantage Policy Optimization with Enhanced Training Data Utilization for Sample-Constrained Reinforcement Learning [14.111530312590531]
  ATP(Automated Theorem Proving)は人工知能(AI)の基本課題である 我々はGDEPO(Group Dual-dynamic and Equal-right-Advantage Policy Optimization)を提案する。 GDEPOには3つのコアメカニズムがある: 1) 有効証明が見つかるまで無効なバッチを再サンプリングする動的追加サンプリング、2) 優位関数の符号をその大きさ(補助的な報酬によって変調される)から切り離して安定かつ正しいポリシー更新を保証する、3) 動的追加イテレーション、そして、最初は失敗するが、最終的にはサンプルを成功させ、挑戦的なケースでの学習を加速する。
  論文  参考訳（メタデータ） (2026-01-11T07:34:41Z)
• GIFT: Group-relative Implicit Fine Tuning Integrates GRPO with DPO and UNA [6.07907277934348]
  GIFTはアライメントのための新しい強化学習フレームワークである。 暗黙の報酬モデルと明示的な報酬モデルとの差を最小限にする。 数学的ベンチマークにおいて優れた推論とアライメント性能を達成する。
  論文  参考訳（メタデータ） (2025-10-27T21:18:19Z)
• Generative Reasoning Recommendation via LLMs [48.45009951684554]
  大規模言語モデル(LLM)は、生成的推論レコメンデーションモデル(GRRM)として機能する上で、根本的な課題に直面している。 本研究は,レコメンデーションタスクに対する統一的な理解・推論・予測方法を実現する,事前学習されたLLMを適用してGRRMを構築する方法について検討する。 本稿では,協調的セマンティックアライメント(Collaborative-Semantic Alignment),Reasoning Curriculum Activation(Reasoning Curriculum Activation),Sparse-Regularized Group Policy Optimization(Sparse-Regularized Group Policy Optimization)の3つのコンポーネントを統合するエンドツーエンドフレームワークであるGREAMを提案する。
  論文  参考訳（メタデータ） (2025-10-23T17:59:31Z)
• Test-time Verification via Optimal Transport: Coverage, ROC, & Sub-optimality [53.03186946689658]
  検証によるテストタイムのスケーリングは、大規模言語モデルのパフォーマンス向上を約束している。 検証の効果は、(i)ジェネレータのカバレッジ、(ii)検証器の収束領域(ROC)、(iii)サンプリングアルゴリズムの準最適性の3つの相互作用を通して現れる。 本稿では,輸送問題として検証可能なテストタイムスケーリングの枠組みを定め,カバレッジ,ROC,サブ最適性の相互作用を特徴付ける。
  論文  参考訳（メタデータ） (2025-10-21T18:05:42Z)
• Group Causal Policy Optimization for Post-Training Large Language Models [10.791474908144703]
  グループ相対政策最適化(GRPO)は、補完性や矛盾といった意味的な相互作用を見越して、候補応答を独立したものとして扱う。 本稿では2つの重要なコンポーネントを通じて因果構造を最適化するグループ因果ポリシー最適化(GCPO)を提案する。 GCPOは、複数の推論ベンチマークでGRPOを含む既存のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T14:17:28Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。