論文の概要: Headroom-Drift Replay: A Primitive for Principled Replay Control in GRPO

• arxiv url: http://arxiv.org/abs/2609.03941v1
• Date: Thu, 03 Sep 2026 14:45:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.120354
• Title: Headroom-Drift Replay: A Primitive for Principled Replay Control in GRPO
• Title（参考訳）: Headroom-Drift Replay:GRPOにおける原則的リプレイ制御のプリミティブ
• Abstract要約: 本稿では,GRPOのためのグループレベルのリプレイ制御プリミティブであるHeadroom-Drift Replayを紹介する。 ヘッドルームは学習価値でグループをランク付けし、ドリフトは現在のポリシーと互換性でグループをゲートする。 Agentic Searchでは、環境の相互作用がコストを上回り、壁時計の時間に匹敵する品質を提供する。
• 参考スコア（独自算出の注目度）: 6.2214413027707565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: RL-based post-training for reasoning models is increasingly bottlenecked by repeated fresh rollout generation, particularly in agentic settings where environment interaction dominates wall-clock cost. Replay can reduce this burden by reusing past trajectories, but existing methods typically embed it within larger training pipelines involving exploration, experience restructuring, or mixed-policy optimization. This makes replay's own contribution difficult to isolate. We ask a focused question: how far can principled replay selection alone go? We introduce Headroom-Drift Replay, a group-level replay control primitive for GRPO that separates reuse into two decisions. Headroom ranks stored groups by remaining learning value, while Drift gates them by compatibility with the current policy. The fresh on-policy stream remains unchanged, and the method adds no auxiliary generation or training machinery. Across mathematical reasoning, multimodal reasoning, and Agentic Search benchmarks, this single intervention outperforms naive replay and matches or exceeds broader replay methods on Avg Mean@32. In Agentic Search, where environment interaction dominates cost, it delivers comparable quality at materially lower wall-clock time.
• Abstract（参考訳）: 推論モデルのためのRLベースのポストトレーニングは、特に環境相互作用がウォールクロックコストを支配しているエージェント環境において、繰り返しのロールアウト生成によって、ますますボトルネックになってきている。 リプレイは過去のトラジェクトリを再利用することで、この負担を軽減することができるが、既存のメソッドは通常、探索、経験再構成、混合ポリティクス最適化を含む、より大きなトレーニングパイプラインに組み込む。 これにより、リプレイ自身の貢献を分離することが困難になる。 リプレイの原則は、どれくらい先にあるのか? 本稿では,GRPOのためのグループレベルのリプレイコントロールプリミティブであるHeadroom-Drift Replayを紹介する。 ヘッドルームは学習価値でグループをランク付けし、ドリフトは現在のポリシーと互換性でグループをゲートする。 新たなオン・ポリシー・ストリームは変わらず、補助的な世代や訓練機械は加えない。 数学的推論、マルチモーダル推論、エージェント検索のベンチマークを通じて、この単一の介入は、単純なリプレイよりも優れており、Avg Mean@32のより広範なリプレイメソッドよりも優れています。 Agentic Searchでは、環境の相互作用がコストを上回り、壁時計の時間に匹敵する品質を提供する。

関連論文リスト

• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning [19.683904518981624]
  ReRULEは、強化学習のための非政治的なリプレイ強化である。 以上の結果から,ReRULEは純粋なオンラインRULEよりも厳密なハードケース収束性を示す。
  論文  参考訳（メタデータ） (2026-06-13T14:52:40Z)
• RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
  因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。 本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T17:59:30Z)
• When Does Non-Uniform Replay Matter in Reinforcement Learning? [43.83763359517116]
  非一様リプレイの有効性は, 再生量, 環境ステップ毎の再生遷移数, 期待精度, サンプル遷移の頻度, リプレイサンプリング分布のエントロピーの3つの要因に支配されている。 我々は,高エントロピーと無視できない計算オーバーヘッドを保ちながら,サンプリングを最近の経験に偏りを与える,単純なTrncated Geometric replayを採用する。
  論文  参考訳（メタデータ） (2026-05-11T09:11:05Z)
• DyJR: Preserving Diversity in Reinforcement Learning with Verifiable Rewards via Dynamic Jensen-Shannon Replay [57.80564154223355]
  既存のエクスペリエンスリプレイメソッドは、直接ポリシー更新のための正確なサンプルを再利用することで、この問題に対処する。 歴史的データは単に正確性を強化するのではなく、持続的な多様性を優先すべきである、と我々は主張する。 本稿では,シンプルで効果的な正規化フレームワークであるLEPJRを提案する。
  論文  参考訳（メタデータ） (2026-03-17T06:20:56Z)
• ARROW: Augmented Replay for RObust World models [0.0]
  継続的な強化学習は、エージェントが以前に学んだスキルを維持しながら新しいスキルを取得することを課題にしている。 既存のアプローチのほとんどは、破滅的な忘れを緩和するためにバッファを再生するモデルフリーな手法に依存している。 本稿では,DreamerV3 を拡張したモデルベース連続 RL アルゴリズム ARROW を提案する。
  論文  参考訳（メタデータ） (2026-03-12T00:15:11Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• Mitigating Catastrophic Forgetting in Streaming Generative and Predictive Learning via Stateful Replay [0.0]
  本稿では,ストリーミング自動エンコード時系列予測と分類のためのステートフルリプレイについて統一的な研究を行う。 我々は,Rotated MNIST, ElectricityLoadDiagrams 2011-2014, Airlines遅延データから構築した6つのストリーミングシナリオに対して,単一再生機構を評価する。 ヘテロジニアスなマルチタスクストリームでは、リプレイは平均忘れを2～3倍に減らし、良質な時間ベースストリームでは、どちらのメソッドも同じように動作する。
  論文  参考訳（メタデータ） (2025-11-22T06:25:54Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization [12.473095790918347]
  マルチエージェント問題に対する最適優先体験再生を定式化する名前を提案する。 結果として生じた政策の後悔を最小限にすることで、現在の政策と明確な最適政策とのギャップを狭めることができる。
  論文  参考訳（メタデータ） (2023-02-21T03:11:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。