Fugu-MT 論文翻訳(概要): Learning Without Critics? Revisiting GRPO in Classical Reinforcement Learning Environments

論文の概要: Learning Without Critics? Revisiting GRPO in Classical Reinforcement Learning Environments

arxiv url: http://arxiv.org/abs/2511.03527v1
Date: Wed, 05 Nov 2025 15:01:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-06 18:19:32.452474
Title: Learning Without Critics? Revisiting GRPO in Classical Reinforcement Learning Environments
Title（参考訳）: 批判のない学習 : 古典的強化学習環境におけるGRPOの再考
Authors: Bryan L. M. de Oliveira, Felipe V. Frujeri, Marcos P. C. M. Queiroz, Luana G. B. Martins, Telma W. de L. Soares, Luckeciano C. Melo,
Abstract要約: グループ相対政策最適化(GRPO)は、PPO(Proximal Policy Optimization)に代わるスケーラブルな代替手段として登場した。本稿では,従来の単一タスク強化学習環境におけるGRPOの体系的研究について述べる。
参考スコア（独自算出の注目度）: 1.9559952759908155
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Group Relative Policy Optimization (GRPO) has emerged as a scalable alternative to Proximal Policy Optimization (PPO) by eliminating the learned critic and instead estimating advantages through group-relative comparisons of trajectories. This simplification raises fundamental questions about the necessity of learned baselines in policy-gradient methods. We present the first systematic study of GRPO in classical single-task reinforcement learning environments, spanning discrete and continuous control tasks. Through controlled ablations isolating baselines, discounting, and group sampling, we reveal three key findings: (1) learned critics remain essential for long-horizon tasks: all critic-free baselines underperform PPO except in short-horizon environments like CartPole where episodic returns can be effective; (2) GRPO benefits from high discount factors (gamma = 0.99) except in HalfCheetah, where lack of early termination favors moderate discounting (gamma = 0.9); (3) smaller group sizes outperform larger ones, suggesting limitations in batch-based grouping strategies that mix unrelated episodes. These results reveal both the limitations of critic-free methods in classical control and the specific conditions where they remain viable alternatives to learned value functions.
Abstract（参考訳）: グループ相対政策最適化(GRPO)は、学習した批判を排除し、軌道の群相対比較を通じて利点を推定することで、PPO(Pximal Policy Optimization)に代わるスケーラブルな代替手段として登場した。この単純化は、政策段階の手法における学習ベースラインの必要性に関する根本的な疑問を提起する。本稿では,従来の単一タスク強化学習環境におけるGRPOの最初の体系的研究について述べる。 1)批判のない全ての基準線は、エピソードリターンが有効であるCartPoleのような短地環境を除いてPPOを下方修正する。(2) 早期終了の欠如が適度な割引(ガンマ=0.9)を好むハーフチータを除いて高い割引因子(ガンマ=0.99)によるGRPOの恩恵は、無関係なエピソードを混在させるバッチベースのグループ化戦略の限界を示唆する。これらの結果は、古典的な制御における批判のない手法の限界と、学習された値関数の代替となるような特定の条件の両方を明らかにしている。

論文の概要: Learning Without Critics? Revisiting GRPO in Classical Reinforcement Learning Environments

関連論文リスト