論文の概要: Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
- arxiv url: http://arxiv.org/abs/2609.37868v1
- Date: Tue, 29 Sep 2026 15:47:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.707333
- Title: Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR
- Title（参考訳）: サンプル以上のものを学ぶ:RLVRのためのオフポリティックなクロスモデル軌道交換
- Abstract要約: 有限ロールアウト予算は、報酬ベースのポリシー勾配信号のない全欠陥グループを生成することができる。
GRAFTは、全ての失敗グループを情報的ピアグループに置き換える、非政治意識のフレームワークである。
GRAFTは同じモデルのロールアウト予算でGRPOよりも両モデルを継続的に改善している。
- 参考スコア（独自算出の注目度）: 32.72814251696417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) methods such as GRPO rely on successful self-generated trajectories, but finite rollout budgets can produce all-fail groups with no reward-based policy-gradient signal. While additional rollouts improve the chance of success at higher cost, successful trajectories missing from one model's rollouts may already have been discovered by another. Indeed, we observe that heterogeneous models often succeed on complementary prompts, creating opportunities for mutual learning without a designated stronger teacher. To exploit this complementarity, we propose GRAFT (Gated Replacement of Answer-Failed groups with peer Trajectories), an off-policy-aware framework that replaces all-fail groups with informative peer groups. GRAFT transfers both successful and unsuccessful peer responses with peer-computed advantages, while controlling cross-model mismatch through sequence-level compatibility weighting and token-level importance ratio clipping. Across three heterogeneous model pairs and five mathematical reasoning benchmarks, GRAFT consistently improves both models over GRPO with the same per-model rollout budget, gaining 2.1 points on average and up to 4.5 points in model-level average performance. Stored peer trajectories preserve most of the gains, improving over GRPO by 1.8 points on average without simultaneous co-training.
- Abstract（参考訳）: GRPO (Reinforcement Learning with Verifiable Rewards) のようなRLVR (Reinforcement Learning with Verifiable Rewards) 手法は、成功した自己生成軌道に依存している。
追加のロールアウトにより、より高いコストで成功の可能性が向上するが、あるモデルのロールアウトから失敗した軌道は、既に別のモデルによって発見されていた可能性がある。
実際、異種モデルはしばしば相補的なプロンプトに成功し、より強い教師がいなければ相互学習の機会が生まれる。
この相補性を活用するために,全失敗グループを情報的ピアグループに置き換える非政治意識のフレームワークであるGRAFT(Gated Replacement of Answer-Failed group with peer Trajectories)を提案する。
GRAFTは、シーケンスレベルの互換性重み付けとトークンレベルの重要性比率クリッピングによって、クロスモデルミスマッチを制御しながら、ピア計算の利点で成功したピアレスポンスと失敗したピアレスポンスの両方を転送する。
3つの異種モデルペアと5つの数学的推論ベンチマークで、GRAFTはGRPOよりもモデル毎のロールアウト予算を一貫して改善し、平均2.1ポイント、モデルレベルの平均パフォーマンスは4.5ポイントまで向上した。
格納されたピアトラジェクトリは、ほとんどのゲインを保持し、同時学習なしでGRPOを平均1.8ポイント改善する。
関連論文リスト
- Group-Marginalized Self-Rewarding RL Drives Zero-Label Self-Evolving [62.33493070202355]
自己回帰強化学習は、大きな言語モデルが人間のラベルなしで自己進化することを可能にする。
Group-Marginalized Advantage Estimation (GMAE) は、可能なコンテキストにわたる報酬実現を応答レベルの分布に集約する。
GMAEはまた、トレーニングデータセットとRLバックボーン間で安定した学習、低コスト、適切な適用性を示している。
論文 参考訳（メタデータ） (2026-09-29T05:20:51Z) - Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups [14.712224182088327]
二進的な成功報酬の下では、ロールアウトがすべて成功またはすべて失敗するグループは、ゼロの優位性を持ち、動的サンプリングによって破棄される。
そこで我々はPrism-GRPOを導入し,重み付けされた軌道レベルの実行品質スコアでバイナリ結果の報酬を増大させる。
品質スコアは、シミュレータのコンタクト、実行されたアクション、視覚的な観察から導き出すことができ、タスク固有の進捗報酬を避けることができる。
論文 参考訳（メタデータ） (2026-08-18T06:44:16Z) - ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning [75.26064451955199]
ExTraは、モデル自身のロールアウトから探索信号を抽出するフレームワークである。
GRPO上でQwen3-1.7Bをpass@1で約5ポイント、pass@16で+7ポイント改善する。
論文 参考訳（メタデータ） (2026-06-23T15:51:39Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。
次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。
AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
論文 参考訳（メタデータ） (2026-05-20T12:57:37Z) - GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning [48.32628338889922]
グループ相対政策最適化は中間段階の無差別な信用割当に苦しむ。
モデルフリーで検証可能なプロセス監視を,モデルが正しい回答を信じているかどうかを判断することによって導入する。
このアプローチにより、よりターゲット的でサンプル効率の良いポリシー更新が可能になる。
論文 参考訳（メタデータ） (2026-04-22T15:08:58Z) - iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。
IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。
一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-09T18:45:11Z) - Empowering Multi-Turn Tool-Integrated Reasoning with Group Turn Policy Optimization [20.004150645050537]
Group Turn Policy Optimization (GTPO) は、多ターンツール統合推論タスクにおける大規模言語モデル(LLM)のトレーニング用に設計された、新しい強化学習アルゴリズムである。
GTPOは、各ターンに対してきめ細かいフィードバックを提供するターンレベルの報酬割り当て、リターンベースの利点推定、自己監督型報酬形成という3つの重要なイノベーションを導入している。
総合評価の結果、GTPOは様々な推論ベンチマークでGRPOを平均3.0%上回っていることがわかった。
論文 参考訳（メタデータ） (2025-11-18T19:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。