Fugu-MT 論文翻訳(概要): GRPODropout: Less is More for Online Reinforcement Learning Rollouts

論文の概要: GRPODropout: Less is More for Online Reinforcement Learning Rollouts

arxiv url: http://arxiv.org/abs/2610.11854v1
Date: Thu, 08 Oct 2026 12:38:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 02:36:54.025987
Title: GRPODropout: Less is More for Online Reinforcement Learning Rollouts
Title（参考訳）: GRPODropout: オンライン強化学習ロールアウトでは,より少ないもの
Abstract要約: GRPODropout: 標準的なアップデートの前に、少数の高確率のポジティアドバンテージロールアウトを選択的に削除するシンプルな戦略を使用します。実験では、オリジナルのGRPOよりも精度が高く、より高いアクターエントロピーを示す一方、更新のためにロールアウトサンプルが少ないため、"less is more"と説明される。
参考スコア（独自算出の注目度）: 18.784954229156046
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning (RL) methods such as GRPO substantially improve large language model reasoning but often suffer from policy entropy collapse: the loss of sampling diversity weakens exploration and limits further improvement. Existing methods address this issue either through algorithm-level interventions, such as reward modification and entropy/KL regularization, or through token-level reweighting. We investigate a complementary perspective: entropy collapse can also be mitigated by changing which generated rollouts contribute to policy updates. Under the same sampling budget, not all rollouts contribute positively to an update, and selectively excluding some can improve learning. To address this, we propose GRPODropout: before the standard update, we use a simple strategy that selectively removes a small number of high-probability positive-advantage rollouts and recenters the retained advantages. To motivate this design, we develop a rollout-level theoretical analysis that guides method design and threshold selection. The method changes only rollout usage, and adds negligible computational overhead. Experiments show higher accuracy than original GRPO and higher actor entropy while using fewer rollout samples for updates, illustrating "less is more." This work provides insight into RL rollout usage: removing some rollouts can improve performance. Code is available at https://github.com/hexuandeng/GRPODropout/.
Abstract（参考訳）: GRPOのような強化学習(RL)手法は、大きな言語モデル推論を大幅に改善するが、しばしば政策エントロピー崩壊に悩まされる。既存の手法では、報酬の修正やエントロピー/KL正規化といったアルゴリズムレベルの介入、トークンレベルの再重み付けなどによってこの問題に対処している。エントロピー崩壊は、生成したロールアウトがポリシー更新に寄与する変更によって緩和される。同じサンプリング予算の下では、すべてのロールアウトが更新に肯定的な貢献をする訳ではない。標準更新の前に、少数の高確率ポジティアドバンテージロールアウトを選択的に除去するシンプルな戦略を使用しており、最近ではその優位性を維持している。この設計を動機付けるために,メソッド設計としきい値選択を導くロールアウトレベルの理論解析を開発した。このメソッドはロールアウトの使用だけを変更し、無視できる計算オーバーヘッドを追加する。実験では、オリジナルのGRPOよりも精度が高く、より高いアクターエントロピーを示す一方、更新のためにロールアウトサンプルが少ないため、"less is more"と説明されている。この作業は、RLロールアウトの使用状況に関する洞察を提供する。コードはhttps://github.com/hexuandeng/GRPODropout/で入手できる。

関連論文リスト

Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning [23.987185167160117]
可変ガイドオンラインロールアウトアロケーション(VIGOR) 可変ガイドオンラインロールアウトアロケーション(VIGOR) 可変ガイドオンラインロールアウトアロケーション(VIGOR)
論文参考訳（メタデータ） (2026-07-24T06:04:04Z)
REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文参考訳（メタデータ） (2026-06-17T10:37:23Z)
One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文参考訳（メタデータ） (2026-05-21T08:25:27Z)
Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
論文参考訳（メタデータ） (2026-05-15T08:22:59Z)
Selective Off-Policy Reference Tuning with Plan Guidance [38.69275933161611]
SORTはロールアウト生成を変更することなく、これらの障害を修復するアップデートを追加した。 SORTは、オールホワイトプロンプトを均一な模倣ではなく、選択的で構造対応の学習信号に変える。
論文参考訳（メタデータ） (2026-05-12T04:25:41Z)
Learning to Hint for Reinforcement Learning [51.46328710610512]
グループ相対政策最適化(GRPO)は、検証可能な報酬を伴う強化学習に広く用いられている。 GRPOは、グループ内のすべてのロールアウトが同じ報酬を受けると、しばしば有利な崩壊に苦しむ。 Hint Learning for Reinforcement Learning (HiLL)を提案する。
論文参考訳（メタデータ） (2026-04-01T09:58:08Z)
Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
論文参考訳（メタデータ） (2025-04-18T17:49:55Z)
Robust Policy Optimization in Deep Reinforcement Learning [16.999444076456268]
連続的な行動領域では、パラメータ化された行動分布は容易に探索の制御を可能にする。特に,摂動分布を利用したロバストポリシ最適化(RPO)アルゴリズムを提案する。我々は,DeepMind Control,OpenAI Gym,Pybullet,IsaacGymの各種連続制御タスクについて評価を行った。
論文参考訳（メタデータ） (2022-12-14T22:43:56Z)
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
論文参考訳（メタデータ） (2020-06-26T20:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。