論文の概要: Dataset Mismatch Matters in Group Relative Policy Optimization for Reinforcement Learning from Verifiable Rewards
- arxiv url: http://arxiv.org/abs/2611.00586v1
- Date: Sat, 31 Oct 2026 03:28:56 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:21:55.673918
- Title: Dataset Mismatch Matters in Group Relative Policy Optimization for Reinforcement Learning from Verifiable Rewards
- Title（参考訳）: 検証されたリワードからの強化学習のためのグループ相対的政策最適化におけるデータセットミスマッチの課題
- Abstract要約: GRPOに目標側の性能フィードバックを明示的に組み込んだL2RR(Learning-to-reweight Rollout)を提案する。
L2RRは、双方向の目的を最適化することにより、ソースプロンプト上の離散サンプリング分布を学習する。
6つの数学推論ベンチマークと3つのモデルスケールに関する実証研究は、L2RRが目標ドメインの性能を改善し、ロールアウト効率を向上させることを示している。
- 参考スコア（独自算出の注目度）: 83.55108330135981
- License:
- Abstract: Recently, reinforcement learning from verifiable rewards (RLVR) is practically very important, where the leading approach is group relative policy optimization (GRPO) that typically faces a trade-off between rollout efficiency and downstream performance. To improve efficiency while preserving performance, existing selective rollout methods mainly exploit only source-side training dynamics to optimize the discrete distribution over source prompts. However, in practice, the source training dataset is rarely identically distributed to the target test dataset. When such a mismatch exists, due to legal or privacy constraints, it is usually not acceptable to share target prompts themselves with the RLVR trainer. Nevertheless, it is still possible for the target data owner to provide limited aggregated feedback from a small held-out target set without revealing target prompts or rollout traces. In this paper, we propose learning-to-reweight rollout (L2RR) that explicitly incorporates target-side performance feedback into GRPO. Specifically, L2RR learns a discrete sampling distribution over source prompts by optimizing a bi-level objective that maximizes accuracy on a held-out target dataset, while simultaneously penalizing rollouts that provide little incremental learning information. Empirical studies on six math reasoning benchmarks and three model scales show that L2RR improves target-domain performance and increases rollout efficiency.
- Abstract（参考訳）: 近年、検証可能な報酬(RLVR)からの強化学習は、ロールアウト効率とダウンストリーム性能のトレードオフに直面したグループ相対的政策最適化(GRPO)が中心となる、事実上非常に重要である。
性能を保ちながら効率を向上させるため、既存の選択的ロールアウト法は主にソース側のトレーニングダイナミクスのみを利用して、ソースプロンプト上の離散分布を最適化する。
しかし、実際には、ソーストレーニングデータセットがターゲットのテストデータセットに同一に分散されることは滅多にない。
このようなミスマッチが存在する場合、法的またはプライバシー上の制約により、通常、ターゲットプロンプトをRLVRトレーナーと共有することは許されない。
それでも、ターゲットデータ所有者は、ターゲットのプロンプトやロールアウトトレースを明らかにすることなく、小さな保持されたターゲットセットから限定的な集約されたフィードバックを提供することができる。
本稿では,GRPOに目標側の性能フィードバックを明示的に組み込んだL2RR(Learning-to-reweight Rollout)を提案する。
具体的には、L2RRは、ソースプロンプト上の離散サンプリング分布を学習し、保持対象データセットの精度を最大化する2レベル目標を最適化し、同時にインクリメンタルな学習情報を提供するロールアウトをペナルタイズする。
6つの数学推論ベンチマークと3つのモデルスケールに関する実証研究は、L2RRが目標ドメインの性能を改善し、ロールアウト効率を向上させることを示している。
関連論文リスト
- Learning at the Right Pace: Adaptive Data Scheduling Improves LLM Reinforcement Learning [60.83841532299041]
本稿では、強化学習後学習を行うための2レベルデータスケジューリングフレームワークであるAdaptive Data Scheduling (ADS)を提案する。
ADSは、セマンティックパターンに従ってサンプルを整理し、適応的なクラスタ間分布を維持して、現在のトレーニングの進捗を固める。
3つのLCMと7つの推論ベンチマークによる実験結果から、ADSはグループ相対ポリシー最適化よりも平均精度を5.2%向上することが示された。
論文 参考訳（メタデータ） (2026-06-21T02:19:17Z) - Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。
本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。
CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
論文 参考訳（メタデータ） (2026-05-14T08:22:21Z) - Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。
ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-09T03:42:16Z) - Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration [33.02780998281276]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善した。
本研究は,RLVRにおけるデータ効率の向上に本質的なデータ特性の活用,すなわちトレーニング中のほぼ自由な利益をいかに生かすかを検討する。
論文 参考訳（メタデータ） (2025-11-02T04:16:47Z) - Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。
本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
論文 参考訳（メタデータ） (2024-10-10T16:01:51Z) - Continual Contrastive Finetuning Improves Low-Resource Relation
Extraction [34.76128090845668]
関係抽出は低リソースのシナリオやドメインでは特に困難である。
近年の文献は自己教師型学習によって低リソースREに取り組みつつある。
コントラスト学習の一貫した目的を用いたREモデルの事前学習と微調整を提案する。
論文 参考訳（メタデータ） (2022-12-21T07:30:22Z) - Offline Reinforcement Learning with Adaptive Behavior Regularization [1.491109220586182]
オフライン強化学習(RL)は、静的で以前に収集されたデータセットからポリシーを学習する、サンプル効率のよい学習パラダイムを定義する。
適応行動正規化(Adaptive Behavior regularization, ABR)と呼ばれる新しい手法を提案する。
ABRは、データセットの生成に使用するポリシーのクローン化と改善の間に、ポリシーの最適化目標を適応的に調整することを可能にする。
論文 参考訳（メタデータ） (2022-11-15T15:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。