論文の概要: Save Your Saturated Data: Learning Beyond Reward Saturation in Group-Based RL

• arxiv url: http://arxiv.org/abs/2609.33126v1
• Date: Sun, 27 Sep 2026 02:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:16:37.327533
• Title: Save Your Saturated Data: Learning Beyond Reward Saturation in Group-Based RL
• Title（参考訳）: 飽和データを救う - グループベースのRLにおけるリワード飽和以上の学習
• Abstract要約: グループ相対強化学習は、サンプル応答の報酬変動に依存する。 言語モデルがますます有能になるにつれて、既存のトレーニングデータが報酬飽和状態になる可能性がある。 このような飽和データから有用な学習信号を回収できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 51.0181184809978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-relative reinforcement learning (RL) relies on reward variation among sampled responses to estimate informative relative advantages. As language models become increasingly capable, existing training data can become reward-saturated: all sampled responses to the same problem might receive equally high rewards, where the group-relative learning signals vanish and leave previously useful data obsolete. In this work, we investigate whether useful learning signals can be recovered from such saturated data. We study interventions at four levels of group-policy RL pipelines---data, rollout, reward, and advantage---and conduct extensive RL training on saturated reasoning data only. While standard GRPO on saturated data would almost always yield near-0 advantages and near-noise signals, diverse interventions successfully recycle and repurpose such data: among the proposed strategies, interventions at rollout generation are consistently most effective: nudging the policy to generate ``high-quality'', incorrect solutions introduces rollouts with poor rewards into saturated groups as negative samples, which turns out to improve GRPO by 6.4% to 9.0% across Qwen3-1.7B and 4B. Other interventions such as increasing rollout temperature or adding auxiliary rewards can also restore non-zero advantages, but yield less consistent gains. Further analyses show that effective negative rollouts require informative negative trajectories, that the method remains effective alongside unsaturated data, and that it supports iterative recycling of newly saturated examples. While increasingly stronger LLMs would render more data as saturated, our results demonstrate that don't waste your saturated data: with the right strategies they can be recycled into useful RL training signals in an increasingly data-scarce world.
• Abstract（参考訳）: グループ相対強化学習(RL)は、情報的相対的優位性を推定するために、サンプル応答の報酬変動に依存する。 言語モデルの能力が向上するにつれて、既存のトレーニングデータは報酬に飽和する可能性がある。同じ問題に対するすべてのサンプル応答は、グループ相対学習信号が消滅し、それまで有用なデータが時代遅れになるような、同等に高い報酬を受ける可能性がある。 本研究では,このような飽和データから有用な学習信号を回収できるかどうかを検討する。 我々は,データ,ロールアウト,報酬,利益の4段階にわたるグループ政治RLパイプラインの介入について検討し,飽和推論データのみに広範なRLトレーニングを実施する。 提案された戦略の中で、ロールアウト生成における介入は一貫して最も効果的である: '高品質' を生成するためのポリシーをヌードすると、不正な解決策は飽和したグループに不利な報酬を負のサンプルとして導入し、Qwen3-1.7Bと4Bの間でGRPOを6.4%から9.0%改善することが判明した。 ロールアウト温度の上昇や補助的な報酬の追加といった他の介入は、非ゼロの利点を回復させることもできるが、一貫性の低い利得をもたらす。 さらに, 有効負のロールアウトには情報的負の軌跡が必要であり, 未飽和データとともに有効であり, 新たに飽和したサンプルの反復的リサイクルを支援することが示唆された。 ますます強力なLCMは、より多くのデータを飽和としてレンダリングするでしょうが、私たちの結果は、飽和したデータを無駄にしないということを示しています。

関連論文リスト

• Effective Reinforcement Learning for Agentic Search by Recycling Zero-Variance Queries During Training [28.12666966542811]
  本研究では,将来的な再サンプリングのために,ゼロ分散グループを可変プールに返却するクエリリサイクルを提案する。 本稿では, リサイクルクエリが, 学習終了までに有効バッチの約4分の3を供給していることを示す。
  論文  参考訳（メタデータ） (2026-06-09T11:12:58Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• MiniRec: Data-Efficient Reinforcement Learning for LLM-based Recommendation [50.417769112326546]
  MiniRecは、RLベースの大規模言語モデル(LLM)レコメンデーションに適したデータ選択フレームワークである。 重要なRL信号 -- 報酬 -- を使ってサンプルの学習性を評価する。
  論文  参考訳（メタデータ） (2026-02-04T07:15:49Z)
• Explore Data Left Behind in Reinforcement Learning for Reasoning Language Models [61.78513830395669]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデル(LLM)の推論能力向上に有効な手法として登場した。 モデルがより長く、規模が大きくなるにつれて、トレーニングのプロンプトは残余のプロンプトになる。 政策最適化フレームワークにおける探索的残留確率(Explore Residual Prompts in Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-11-06T20:40:27Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• RL on Incorrect Synthetic Data Scales the Efficiency of LLM Math Reasoning by Eight-Fold [41.28168368547099]
  モデル生成合成データのトレーニングは、LLMを微調整する上で有望なアプローチであるが、それがいつ役に立つかは、まだ不明である。 ステップごとの負のトレーニングは、ポジティブなデータにおける突発的な相関を解き放つのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-20T17:45:54Z)
• Robust Reinforcement Learning Objectives for Sequential Recommender Systems [7.44049827436013]
  我々は、報酬の形で直接ユーザーフィードバックを取り入れ、ユーザのパーソナライズを高めるレコメンデーションシステムを開発する。 RLアルゴリズムを採用することで、政治外のトレーニング、拡張可能なアクションスペース、十分な報酬信号を持つデータセットの不足など、課題が提示される。 これらの課題に対して、より効果的な解決策を提供するための拡張された方法論を導入します。
  論文  参考訳（メタデータ） (2023-05-30T08:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。