論文の概要: Group Entropy-Controlled Policy Optimization

• arxiv url: http://arxiv.org/abs/2607.16850v1
• Date: Sat, 18 Jul 2026 15:13:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.272571
• Title: Group Entropy-Controlled Policy Optimization
• Title（参考訳）: グループエントロピー制御ポリシ最適化
• Abstract要約: Group Entropy-Controlled Policy Optimization (GEPO) は、グループエントロピーを用いてエントロピー条件の非対称な有利な整形を行うGRPOの軽量拡張である。 GEPOは低エントロピー群の正の利点を減らし、過剰な露光を減らし、高エントロピー群の負の利点を減らし、探索を維持する。
• 参考スコア（独自算出の注目度）: 38.44352203898131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entropy control has become an effective tool in reinforcement learning (RL) of large language models (LLMs), helping balance exploration-exploitation trade-off during alignment process. Such RL paradigm is often conducted on mixtures of heterogeneous tasks, which induce distinct entropy regimes under the same policy, making global or token-level entropy regulation insufficient to corresponding heterogeneous needs of exploration. This heterogeneity further makes GRPO-style normalized advantages induce an entropy-dependent bias, making advantage signals across prompt groups statistically non-comparable. To address this issue, we propose Group Entropy-Controlled Policy Optimization (GEPO), a lightweight extension to GRPO that uses group entropy, estimated from existing grouped samples to perform entropy-conditioned asymmetric advantage shaping. GEPO attenuates positive advantages in low-entropy groups to reduce over-exploitation, and negative advantages in high-entropy groups to preserve exploration, with adaptive thresholds derived from historical entropy statistics. Extensive experiments on two base models across thirteen benchmarks spanning mathematics, physics, science, code generation, and instruction following show that GEPO consistently outperforms GRPO and recent entropy-controlled methods, delivering balanced cross-task improvements while preserving task-specific exploration levels throughout training.
• Abstract（参考訳）: エントロピー制御は、大規模言語モデル(LLM)の強化学習(RL)において有効なツールとなり、アライメント過程における探索・探索のトレードオフのバランス化に役立っている。 このようなRLパラダイムは、同じ方針の下で異なるエントロピー規則を誘導し、対応するヘテロジニアスな探索のニーズに対してグローバルまたはトークンレベルのエントロピー規制を不十分にする不均一なタスクの混合でしばしば実行される。 この不均一性により、GRPO型正規化の利点はエントロピー依存バイアスを誘導し、急進的な群を統計的に比較不可能な信号を生み出す。 この問題に対処するため,グループエントロピーを用いたGRPOの軽量拡張であるグループエントロピー制御ポリシ最適化(GEPO)を提案する。 GEPOは、低エントロピー群の正の利点を減らし、高エントロピー群の負の利点を減らし、歴史的エントロピー統計から得られた適応しきい値で探索を維持する。 数学、物理学、科学、コード生成、命令を含む13のベンチマークにまたがる2つのベースモデルに対する大規模な実験は、GEPOがGRPOと最近のエントロピー制御手法を一貫して上回り、トレーニング全体を通してタスク固有の探索レベルを維持しながら、バランスの取れたクロスタスクの改善を提供することを示している。

関連論文リスト

• STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability [78.63876433996107]
  GRPOの下でトークンレベルのエントロピーダイナミクスの1次勾配解析を行う。 本稿では,バッチ内部量子化によるエントロピークリティカルトークンのサブセットを識別するSTAREを提案する。 AIME24とAIME25では、STAREはDAPOや他の競争ベースラインを平均精度で4%-8%上回っている。
  論文  参考訳（メタデータ） (2026-06-17T16:13:42Z)
• Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
  実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。 本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:47:05Z)
• EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance [3.463914032107119]
  本稿では,モデル固有の情報フローをマイニングするフレームワークであるEntropy-Progress Aligned GRPOを提案する。 EP-GRPOはGRPOとその変種と比較して精度と効率が優れている。
  論文  参考訳（メタデータ） (2026-05-06T14:21:54Z)
• Rethinking Exploration in RLVR: From Entropy Regularization to Refinement via Bidirectional Entropy Modulation [33.15281300187744]
  報酬を伴う強化学習は、大きな言語モデルの推論能力を進歩させてきた。 テキスト制限探索と呼ばれる限界に直面しており、この政策は急速に狭い解の集合に収束する。 我々は,肯定的および否定的なロールアウトの変調を明示的に分離する探索的フレームワークである textbfAsymGRPO を提案する。
  論文  参考訳（メタデータ） (2026-04-06T17:42:38Z)
• From Broad Exploration to Stable Synthesis: Entropy-Guided Optimization for Autoregressive Image Generation [53.759125791348396]
  Reinforcement Learning (RL) によるChain-of-Thought (CoT) は、テキスト・ツー・イメージ(T2I) の生成を改善する。 本稿では,3つの重要な洞察をもたらすエントロピーに基づく系統的分析について述べる。 本稿では,不確実性により最適化予算を再配置する微調整戦略であるエントロピー誘導グループ相対政策最適化(EG-GRPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-12T12:49:26Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• AEGPO: Adaptive Entropy-Guided Policy Optimization for Diffusion Models [54.56296715999545]
  人間のフィードバックからの強化学習は、拡散とフローモデルの整合性を示す。 GRPOのような政策最適化手法は、非効率で静的なサンプリング戦略に悩まされている。 適応エントロピー誘導政策最適化(Adaptive Entropy-Guided Policy Optimization, AEGPO)を提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:09:50Z)
• ESPO: Entropy Importance Sampling Policy Optimization [7.2000276975120014]
  エントロピー重要度サンプリングポリシー最適化は、きめ細かい制御とトレーニングの安定性を調整します。 ESPOは予測エントロピーに基づいて配列をグループに分解する。 数学的推論ベンチマークの実験は、ESPOが収束と最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-11-29T14:09:38Z)
• Arbitrary Entropy Policy Optimization: Entropy Is Controllable in Reinforcement Fine-tuning [36.00460460149206]
  本稿では, エントロピーボーナスをREINFORCEポリシー勾配に置き換えることで, エントロピー崩壊を解消するArbitrary Entropy Policy Optimization (AEPO)を提案する。 AEPOは、ポリシー勾配を正規化として、分布を正規化として、REINFORCEを正規化として統合し、最適化を歪ませることなく正確なエントロピー制御を可能にする。
  論文  参考訳（メタデータ） (2025-10-09T12:24:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。