Fugu-MT 論文翻訳(概要): CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

論文の概要: CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

arxiv url: http://arxiv.org/abs/2509.20712v2
Date: Tue, 30 Sep 2025 14:07:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-01 14:44:59.835506
Title: CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning
Title（参考訳）: CE-GPPO:強化学習における勾配保存クリッピングポリシ最適化によるエントロピーの調整
Authors: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou,
Abstract要約: 政策エントロピーは、訓練中の探検と搾取のバランスを反映している。既存の方法は、クリッピング機構により、低確率トークンから貴重な勾配信号を捨てる。 textbfGradient textbfPreserving textbfPolicy textbfOptimization を用いて textbfCoordinating textbfEntropy を提案する。
参考スコア（独自算出の注目度）: 28.02073546326571
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning (RL) has become a powerful paradigm for optimizing large language models (LLMs) to handle complex reasoning tasks. A core challenge in this process lies in managing policy entropy, which reflects the balance between exploration and exploitation during training. Existing methods, such as proximal policy optimization (PPO) and its variants, discard valuable gradient signals from low-probability tokens due to the clipping mechanism. We systematically analyze the entropy dynamics and reveal that these clipped tokens play a critical yet overlooked role in regulating entropy evolution. We propose \textbf{C}oordinating \textbf{E}ntropy via \textbf{G}radient-\textbf{P}reserving \textbf{P}olicy \textbf{O}ptimization (CE-GPPO), a novel algorithm that reintroduces gradients from clipped tokens in native PPO in a gentle and bounded manner. By controlling the magnitude of gradients from tokens outside the clipping interval, CE-GPPO is able to achieve an exploration-exploitation trade-off. We provide theoretical justification and empirical evidence showing that CE-GPPO effectively mitigates entropy instability. Extensive experiments on mathematical reasoning benchmarks show that CE-GPPO consistently outperforms strong baselines across different model scales.
Abstract（参考訳）: 強化学習(RL)は、大規模言語モデル(LLM)を最適化して複雑な推論タスクを処理するための強力なパラダイムとなっている。このプロセスの中核的な課題は、トレーニング中の探索と搾取のバランスを反映した、ポリシーのエントロピーの管理である。近似ポリシー最適化(PPO)とその変種のような既存の手法は、クリッピング機構により、低確率トークンから貴重な勾配信号を捨てる。我々はエントロピーの力学を体系的に解析し、これらのクリッピングトークンがエントロピーの進化を調節する重要な役割を担っていることを明らかにした。本稿では,ネイティブPPOのクリッピングトークンから勾配を再導入する新アルゴリズムである「textbf{C}oordinating \textbf{E}ntropy via \textbf{G}radient-\textbf{P}reserving \textbf{P}olicy \textbf{O}ptimization (CE-GPPO)を提案する。クリッピング間隔外のトークンから勾配の大きさを制御することにより、CE-GPPOは探索・探索トレードオフを達成することができる。 CE-GPPOがエントロピー不安定を効果的に緩和することを示す理論的正当化と実証的な証拠を提供する。数学的推論のベンチマークに関する大規模な実験は、CE-GPPOが様々なモデルスケールで強いベースラインを一貫して上回っていることを示している。

論文の概要: CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

関連論文リスト