論文の概要: Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.18853v1
• Date: Tue, 13 Oct 2026 17:58:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.704363
• Title: Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: 2つのクロック: より大きいロールアウトバッチがよりゆっくりと学習するが、検証可能なリワードによる強化学習のスケジュールに失敗する理由
• Abstract要約: 報酬を伴う強化学習は、コストのかかるモデル生成レスポンスに依存し、より大きなロールアウトバッチと平方根学習レートのスケーリングを動機付けます。 崩壊前に消費されるものから前進するために必要なサンプルを分離する2時間フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 2.5552382489517758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) relies on costly model-generated responses, motivating larger rollout batches and square-root learning-rate scaling. Reported to approximately preserve progress per sample with one optimizer step per rollout, this rule is less understood in practical multi-step training. We develop a two-clock framework that separates the samples needed to make progress from those consumed before collapse. Under a local quadratic model, the square-root rule preserves first-order drift per sample but not progress: larger batches take fewer, longer updates and lose more to curvature, yielding a learning-rate-dependent critical batch beyond which sample efficiency degrades. A drift-threshold hypothesis predicts a complementary failure clock whose sample count remains approximately invariant along the square-root rule. Controlled GRPO experiments on Qwen2.5-Math-1.5B across a $16\times$ batch range support both predictions. Ratio clipping delays failure, especially for larger batches, but the progress gap persists without it. Widening the clip trades stability for a transient speed gain. The progress gap reappears on another dataset, a general-purpose checkpoint, and a 7B model. Finally, we use the two-clock framework to derive a simple multi-step RLVR schedule: start below the critical batch and switch to a larger batch before failure. Our code is available at: https://github.com/WinstonLiyt/two-clocks-rlvr.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、コストのかかるモデル生成応答、より大きなロールアウトバッチの動機付け、平方根学習レートのスケーリングに依存している。 ロールアウト毎に1つの最適化ステップで1サンプルあたりの進捗を概ね保存するように報告されており、このルールは実践的なマルチステップトレーニングでは理解されていない。 崩壊前に消費されるものから前進するために必要なサンプルを分離する2時間フレームワークを開発する。 局所的な二次モデルの下では、平方根規則はサンプル当たりの1次ドリフトを保存するが、進行しない: より大きなバッチはより少なく、より長く更新され、曲率に負け、サンプル効率が低下する学習速度依存の臨界バッチをもたらす。 ドリフト閾値仮説は、サンプル数が平方根則に沿ってほぼ不変な相補的故障時計を予測する。 Qwen2.5-Math-1.5B上でのGRPOの制御実験は、どちらも予測をサポートする。 比率クリッピングは、特に大きなバッチの場合、失敗を遅らせるが、進捗ギャップはそれなしで持続する。 クリップの拡大は、過渡的なスピードゲインのために安定性を交換する。 進捗ギャップは、別のデータセット、汎用チェックポイント、および7Bモデルに再現れる。 最後に、2時間フレームワークを使用して、単純なマルチステップのRLVRスケジュールを導出します。 私たちのコードは、https://github.com/WinstonLiyt/two-clocks-rlvr.comで利用可能です。

関連論文リスト

• When Do Larger Batches Help Scale LLM Reinforcement Learning? [13.656143976571007]
  大規模言語モデルの強化学習におけるトレードオフについて検討する。 より大規模なバッチは、固定ハードウェア上での生成スループットを最大2.29倍向上させる。
  論文  参考訳（メタデータ） (2026-08-29T14:32:09Z)
• Early Verdicts, Better Budgets: Sequential Adaptive Rollout Allocation for Compute-Efficient RLVR [0.0]
  グループの有効性は、ロールアウトの最初の数回で決定されることが多いので、すでに決定済みのプロンプトに全グループで費やすのは無駄です。 有効なグループをコミットし、短時間の調査で飽和したグループを放棄し、新しいプロンプトに解放された予算を再配置する、二段階のSPRT方式のルールを適用した。 我々は, 放棄信頼性, ロールアウト削減, 固定予算利回り支配, 有効群収率とGRPO基準との関係を証明した。
  論文  参考訳（メタデータ） (2026-07-28T20:43:23Z)
• LatentRevise: Learning from Zero-Hit Reasoning [46.1536368072511]
  検証可能な報酬を伴う強化学習は、正しい軌道の確率が低いハードプロンプトによってボトルネックされる。 我々は、RLVRのサンプリングフロンティアのようなゼロヒットプロンプトをフレーム化します。 本稿では,このゼロヒット方式のトレーニング信号を復元する1次遅延修正手法であるLatentReviseを紹介する。
  論文  参考訳（メタデータ） (2026-06-29T08:14:47Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Prune as You Generate: Online Rollout Pruning for Faster and Better RLVR [78.88799271719365]
  本稿では,オンラインロールアウトプルーニング手法であるarrol(オンラインロールアウトプルーニングによるRLVRの高速化)を紹介する。 Arrolは軽量なクオリティヘッドをオンザフライでトレーニングし、部分的なロールアウトの成功確率を予測する。 Qwen-3とLLaMA-3.2のGRPOとDAPO全体で、アロールは平均精度を+2.30から+2.99に改善し、最大1.7倍のトレーニングスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-03-25T22:10:36Z)
• Depth-Breadth Synergy in RLVR: Unlocking LLM Reasoning Gains with Adaptive Exploration [61.350777880329815]
  Reinforcement Learning with Verifiable Reward (RLVR)は、大規模言語モデルにおける推論能力をアンロックするための強力なパラダイムとして登場した。 RLVRの完全なポテンシャルは、モデルがサンプリングできる最も難しい深さと、単一のイテレーションで消費されるインスタンスの数という2つの未探索の次元によって妨げられていることを示す。 本稿では,多段ロールアウトによる難易度再重み付けを行うDARS(Difficulty Adaptive Rollout Smpling)を提案する。
  論文  参考訳（メタデータ） (2025-08-19T11:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。