論文の概要: Rethinking Exploration in RLVR: From Entropy Regularization to Refinement via Bidirectional Entropy Modulation

• arxiv url: http://arxiv.org/abs/2604.04894v1
• Date: Mon, 06 Apr 2026 17:42:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.316442
• Title: Rethinking Exploration in RLVR: From Entropy Regularization to Refinement via Bidirectional Entropy Modulation
• Title（参考訳）: RLVRにおける探索の再考: エントロピー規則化から双方向エントロピー変調によるリファインメントへ
• Authors: Hengrui Gu, Xiaotian Han, Yujing Bian, Kaixiong Zhou,
• Abstract要約: 報酬を伴う強化学習は、大きな言語モデルの推論能力を進歩させてきた。 テキスト制限探索と呼ばれる限界に直面しており、この政策は急速に狭い解の集合に収束する。 我々は,肯定的および否定的なロールアウトの変調を明示的に分離する探索的フレームワークである textbfAsymGRPO を提案する。
• 参考スコア（独自算出の注目度）: 33.15281300187744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has significantly advanced the reasoning capabilities of large language models (LLMs). However, it faces a fundamental limitation termed \textit{restricted exploration}, where the policy rapidly converges to a narrow set of solutions. While entropy regularization is a popular approach used to sustain exploration, it often proves unreliable for LLMs, suffering from high hyperparameter sensitivity and yielding only marginal performance gains. Motivated by these inefficiencies, we propose to rethink the relationship between policy entropy and exploration. By deriving a parametric formulation of group-relative advantage estimation and analyzing entropy dynamics, we conceptually decompose policy entropy into \textit{informative entropy}, which preserves diverse solution paths, and \textit{spurious entropy}, which erodes reasoning patterns. Our analysis reveals that, in contrast to blind maximization, effective exploration requires \textit{entropy refinement}-a mechanism implicitly embedded in group-relative advantage estimation that sustains informative entropy on positive rollouts while suppressing spurious entropy on negative ones. Guided by this insight, we propose \textbf{AsymGRPO}, an exploratory framework that explicitly decouples the modulation of positive and negative rollouts. This allows for independent control over the preservation of informative entropy and the suppression of spurious noise. Extensive experiments demonstrate that AsymGRPO achieves superior performance compared to strong baselines and exhibits the potential to synergize with existing entropy regularization methods.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。 しかし、それは「textit{restricted Explor}」と呼ばれる基本的な制限に直面しており、そこではポリシーは急速に狭い解集合に収束する。 エントロピー正則化は探索を継続するためによく用いられる手法であるが、高パラメータ感度に悩まされ、限界性能の向上しか得られないLSMにとって信頼性が低いことがしばしば証明される。 これらの非効率性に動機付けられ、政策エントロピーと探索の関係を再考する。 群-相対的優位性推定のパラメトリックな定式化とエントロピーの力学解析により、政策エントロピーを多種多様な解経路を保存する \textit{informative entropy} と、推論パターンを侵食する \textit{spurious entropy} に分解する。 我々の分析は, ブラインド最大化とは対照的に, 有効探索には, 正のロールアウトにおける情報エントロピーを抑えつつ, 負のロールアウトにおける情報エントロピーを抑えるグループ相対的優位性推定に暗黙的に埋め込まれた機構である「textit{entropy refinement}」が必要であることを示した。 この知見に導かれて、正および負のロールアウトの変調を明示的に分離する探索的フレームワークである「textbf{AsymGRPO}」を提案する。 これにより、情報エントロピーの保存と突発性雑音の抑制を独立的に制御できる。 大規模な実験により、AsymGRPOは強塩基性よりも優れた性能を示し、既存のエントロピー正則化法と相乗効果を示す。

関連論文リスト

• Maximum Entropy Exploration Without the Rollouts [5.008597638379228]
  探索問題の原則的反復は、誘導定常訪問分布のエントロピーを最大化するポリシーを見つけることである。 本研究では,訪問分布自体から報酬が導出される本質的な平均回帰を考えることにより,最適ポリシが定常エントロピーを最大化する。 この知見は、明示的なロールアウトと分布推定を避けるために、最大エントロピー探索問題の解法であるEVEに導かれる。
  論文  参考訳（メタデータ） (2026-03-12T18:00:03Z)
• On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models [54.61810451777578]
  エントロピーは、大きな言語モデルによって生成される出力の多様性を測定するための重要な指標となる。 近年の研究では、強化微調整における探究と利用のバランスを改善するために、エントロピーの監視と調整に重点を置いている。
  論文  参考訳（メタデータ） (2026-02-03T11:14:58Z)
• Revisiting Entropy in Reinforcement Learning for Large Reasoning Models [54.96908589622163]
  検証可能な報酬(RLVR)を用いた強化学習で訓練した大規模言語モデルのエントロピーダイナミクスについて検討する。 以上の結果から,RLVRでトレーニングしたLDMのエントロピーに影響を及ぼす重要な要因として,非政治的更新数,トレーニングデータの多様性,最適化目標におけるクリッピング閾値が示唆された。
  論文  参考訳（メタデータ） (2025-11-08T12:50:41Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective [11.65148836911294]
  エントロピー崩壊は政策の多様性の急激な喪失であり、探検と爆発の不均衡から起因し、一般化の欠如につながっている。 最近のエントロピー・インターベンション法は、色覚エントロピーの崩壊を防ぐことを目的としているが、その基盤となるメカニズムは明らかになっていない。 エントロピー変化を考慮した再重み付け方式,すなわち,再重み付け(STEER)によるトークンレベルのエントロピーチェンジEの安定化を提案する。
  論文  参考訳（メタデータ） (2025-10-11T10:17:38Z)
• Arbitrary Entropy Policy Optimization: Entropy Is Controllable in Reinforcement Fine-tuning [36.00460460149206]
  本稿では, エントロピーボーナスをREINFORCEポリシー勾配に置き換えることで, エントロピー崩壊を解消するArbitrary Entropy Policy Optimization (AEPO)を提案する。 AEPOは、ポリシー勾配を正規化として、分布を正規化として、REINFORCEを正規化として統合し、最適化を歪ませることなく正確なエントロピー制御を可能にする。
  論文  参考訳（メタデータ） (2025-10-09T12:24:08Z)
• The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models [99.98293908799731]
  本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 実際には、エントロピーHと下流性能Rの間の変換方程式R=-a*eH+bを確立する。 Clip-Cov と KL-Cov という2つの単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:38:45Z)
• Entropy-Based Block Pruning for Efficient Large Language Models [81.18339597023187]
  性能を維持しつつ効率を向上するエントロピー型プルーニング戦略を提案する。 経験的分析により、隠れ表現のエントロピーは初期ブロックでは減少するが、その後のほとんどのブロックでは徐々に増加することが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-04T03:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。