論文の概要: The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models

• arxiv url: http://arxiv.org/abs/2505.22617v1
• Date: Wed, 28 May 2025 17:38:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.76743
• Title: The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models
• Title（参考訳）: 推論言語モデルのための強化学習のエントロピーメカニズム
• Authors: Ganqu Cui, Yuchen Zhang, Jiacheng Chen, Lifan Yuan, Zhi Wang, Yuxin Zuo, Haozhan Li, Yuchen Fan, Huayu Chen, Weize Chen, Zhiyuan Liu, Hao Peng, Lei Bai, Wanli Ouyang, Yu Cheng, Bowen Zhou, Ning Ding,
• Abstract要約: 本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 実際には、エントロピーHと下流性能Rの間の変換方程式R=-a*eH+bを確立する。 Clip-Cov と KL-Cov という2つの単純かつ効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 99.98293908799731
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper aims to overcome a major obstacle in scaling RL for reasoning with LLMs, namely the collapse of policy entropy. Such phenomenon is consistently observed across vast RL runs without entropy intervention, where the policy entropy dropped sharply at the early training stage, this diminished exploratory ability is always accompanied with the saturation of policy performance. In practice, we establish a transformation equation R=-a*e^H+b between entropy H and downstream performance R. This empirical law strongly indicates that, the policy performance is traded from policy entropy, thus bottlenecked by its exhaustion, and the ceiling is fully predictable H=0, R=-a+b. Our finding necessitates entropy management for continuous exploration toward scaling compute for RL. To this end, we investigate entropy dynamics both theoretically and empirically. Our derivation highlights that, the change in policy entropy is driven by the covariance between action probability and the change in logits, which is proportional to its advantage when using Policy Gradient-like algorithms. Empirical study shows that, the values of covariance term and entropy differences matched exactly, supporting the theoretical conclusion. Moreover, the covariance term stays mostly positive throughout training, further explaining why policy entropy would decrease monotonically. Through understanding the mechanism behind entropy dynamics, we motivate to control entropy by restricting the update of high-covariance tokens. Specifically, we propose two simple yet effective techniques, namely Clip-Cov and KL-Cov, which clip and apply KL penalty to tokens with high covariances respectively. Experiments show that these methods encourage exploration, thus helping policy escape entropy collapse and achieve better downstream performance.
• Abstract（参考訳）: 本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 このような現象は、エントロピー介入のない広大なRL走行において一貫して観察され、初期の訓練段階でポリシーエントロピーが急降下し、この探索能力の低下は、常に政策性能の飽和を伴う。 この実証法則は、政策性能は政策エントロピーから引き離され、その疲労によってボトルネックとなり、天井は完全に予測可能なH=0, R=-a+bであることが強く示している。 我々の発見は、RLの計算のスケーリングに向けた継続的な探索にエントロピー管理を必要とする。 この目的のために、理論的にも経験的にもエントロピー力学を調査する。 我々の導出によれば、政策エントロピーの変化は、行動確率とロジットの変化の共分散によって引き起こされる。 実証的研究により、共分散項とエントロピー差の値は正確に一致し、理論的な結論を支持することが示されている。 さらに、共分散項はトレーニングを通して主に肯定的であり、政策エントロピーが単調に減少する理由を説明する。 エントロピー力学の背後にあるメカニズムを理解することによって、高共分散トークンの更新を制限することにより、エントロピーを制御する動機付けを行う。 具体的には,Clip-Cov と KL-Cov の2つの単純かつ効果的な手法を提案する。 実験の結果、これらの手法は探索を奨励し、政策のエントロピー崩壊を回避し、下流のパフォーマンスを向上させることが示されている。

関連論文リスト

• Flexible Entropy Control in RLVR with Gradient-Preserving Perspective [19.86794452199207]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高める重要な手法として登場した。 本稿では, 勾配保存クリッピングの観点からRLのエントロピー制御を提案する。 エントロピーを正確に管理するための動的クリッピングしきい値を用いた新しい制御機構を提案する。
  論文  参考訳（メタデータ） (2026-02-10T13:42:12Z)
• On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models [54.61810451777578]
  エントロピーは、大きな言語モデルによって生成される出力の多様性を測定するための重要な指標となる。 近年の研究では、強化微調整における探究と利用のバランスを改善するために、エントロピーの監視と調整に重点を置いている。
  論文  参考訳（メタデータ） (2026-02-03T11:14:58Z)
• Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning [49.92803982100042]
  我々は,現在の政策と過去の政策のエントロピー比を新たなグローバル指標として用いることを提案する。 エントロピー比に双方向の制約を課すtextbfEntropy Ratio (ERC) 機構を導入する。 これは、グローバルな分布レベルでの政策更新を安定化させ、未サンプリングアクションの確率シフトを規制するPPOクリップの不能を補償する。
  論文  参考訳（メタデータ） (2025-12-05T10:26:32Z)
• Revisiting Entropy in Reinforcement Learning for Large Reasoning Models [54.96908589622163]
  検証可能な報酬(RLVR)を用いた強化学習で訓練した大規模言語モデルのエントロピーダイナミクスについて検討する。 以上の結果から,RLVRでトレーニングしたLDMのエントロピーに影響を及ぼす重要な要因として,非政治的更新数,トレーニングデータの多様性,最適化目標におけるクリッピング閾値が示唆された。
  論文  参考訳（メタデータ） (2025-11-08T12:50:41Z)
• Mind Your Entropy: From Maximum Entropy to Trajectory Entropy-Constrained RL [56.085103402298905]
  本稿では,この2つの課題に対処する軌道エントロピー制約強化学習(TECRL)フレームワークを提案する。 このフレームワーク内では、まず報酬とエントロピーに関連する2つのQ-関数を個別に学習し、温度更新の影響を受けないクリーンで安定した値ターゲットを確保する。 我々は,3つの改良を加えて,最先端の分散型ソフトアクター批判を拡張して,現実的な非政治的アルゴリズムDSAC-Eを開発した。
  論文  参考訳（メタデータ） (2025-10-25T09:17:47Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective [11.65148836911294]
  エントロピー崩壊は政策の多様性の急激な喪失であり、探検と爆発の不均衡から起因し、一般化の欠如につながっている。 最近のエントロピー・インターベンション法は、色覚エントロピーの崩壊を防ぐことを目的としているが、その基盤となるメカニズムは明らかになっていない。 エントロピー変化を考慮した再重み付け方式,すなわち,再重み付け(STEER)によるトークンレベルのエントロピーチェンジEの安定化を提案する。
  論文  参考訳（メタデータ） (2025-10-11T10:17:38Z)
• Arbitrary Entropy Policy Optimization: Entropy Is Controllable in Reinforcement Fine-tuning [36.00460460149206]
  本稿では, エントロピーボーナスをREINFORCEポリシー勾配に置き換えることで, エントロピー崩壊を解消するArbitrary Entropy Policy Optimization (AEPO)を提案する。 AEPOは、ポリシー勾配を正規化として、分布を正規化として、REINFORCEを正規化として統合し、最適化を歪ませることなく正確なエントロピー制御を可能にする。
  論文  参考訳（メタデータ） (2025-10-09T12:24:08Z)
• Clip-Low Increases Entropy and Clip-High Decreases Entropy in Reinforcement Learning of Large Language Models [29.822717720666134]
  PPOとGRPOのクリッピング機構がエントロピーのバイアスを引き起こすことを示す。 より積極的なクリップロー値では、RLVRトレーニングにおいてエントロピーを増加させ、探索を促進し、最終的にエントロピー崩壊を防ぐことができる。
  論文  参考訳（メタデータ） (2025-09-30T11:33:15Z)
• Complexity-Driven Policy Optimization [5.757876638037014]
  エントロピーボーナスをより堅牢な複雑性ボーナスに置き換えることを提案する。 この正規化器は、量(高エントロピー)と構造(高不均衡)のバランスをとる政策を奨励する このような挙動は、正規化器が極端(例えば、極大障害と完全秩序)を抑圧し、エージェントが構造的で適応可能な戦略を発見する圧力を発生させるためである。
  論文  参考訳（メタデータ） (2025-09-24T19:32:03Z)
• Decomposing the Entropy-Performance Exchange: The Missing Keys to Unlocking Effective Reinforcement Learning [106.68304931854038]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の推論能力を高めるために広く用いられている。 我々は,RLVRのエントロピー・パフォーマンス交換機構を,異なるレベルの粒度で系統的に解析する。 分析の結果, 上昇段階において, 負のサンプルのエントロピー減少は効果的な推論パターンの学習を促進することが明らかとなった。 プラトー段階では、学習効率は、低エントロピーのサンプルに存在する高エントロピートークンと、シーケンスの終端に位置するトークンと強く相関する。
  論文  参考訳（メタデータ） (2025-08-04T10:08:10Z)
• State Entropy Regularization for Robust Reinforcement Learning [49.08983925413188]
  状態エントロピー規則化は、構造的および空間的に相関した摂動に対するロバスト性を向上させることを示す。 このようなバリエーションは、伝達学習では一般的であるが、標準的な堅牢な強化学習法では見落とされがちである。
  論文  参考訳（メタデータ） (2025-06-08T11:15:31Z)
• Entropy annealing for policy mirror descent in continuous time and space [2.8255028200738455]
  本研究では,エントロピー正則化が出口時間制御問題に対する政策手法の収束に及ぼす影響について検討する。 本稿では,真の勾配であっても,エントロピー正則化が政策最適化をどのように改善するかを説明する。
  論文  参考訳（メタデータ） (2024-05-30T17:02:18Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Diffusion Actor-Critic with Entropy Regulator [32.79341490514616]
  エントロピーレギュレータ(DACER)を用いたオンラインRLアルゴリズムについて提案する。 このアルゴリズムは拡散モデルの逆過程を新しい政策関数として概念化する。 MuJoCoベンチマークとマルチモーダルタスクの実験は、DACERアルゴリズムが最先端(SOTA)性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-05-24T03:23:27Z)
• On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes [50.68789924454235]
  我々は、平均報酬マルコフ決定過程(MDP)の文脈における政策勾配の最初の有限時間大域収束解析を示す。 我々の分析によると、ポリシー勾配は、$Oleft(frac1Tright)$のサブリニアレートで最適ポリシーに収束し、$Oleft(log(T)right)$ regretに変換され、$T$は反復数を表す。
  論文  参考訳（メタデータ） (2024-03-11T15:25:03Z)
• Predictable Reinforcement Learning Dynamics through Entropy Rate Minimization [16.335645061396455]
  強化学習(RL)では、エージェントは予測可能な行動を示すインセンティブを持たない。 予測可能性を考慮したRL(predictability-Aware RL)と呼ばれるRLエージェントの予測可能な振る舞いを誘導する新しい手法を提案する。 提案手法は,標準割引報酬と負のエントロピー率の線形結合を最大化することにより,最適性を予測可能性と引き換えに行う。
  論文  参考訳（メタデータ） (2023-11-30T16:53:32Z)
• Robust Policy Optimization in Deep Reinforcement Learning [16.999444076456268]
  連続的な行動領域では、パラメータ化された行動分布は容易に探索の制御を可能にする。 特に,摂動分布を利用したロバストポリシ最適化(RPO)アルゴリズムを提案する。 我々は,DeepMind Control,OpenAI Gym,Pybullet,IsaacGymの各種連続制御タスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-12-14T22:43:56Z)
• Optimal scheduling of entropy regulariser for continuous-time linear-quadratic reinforcement learning [9.779769486156631]
  ここで、エージェントは最適な緩和ポリシーに従って分散されたノイズ制御を生成することで環境と相互作用する。 この探索-探索トレードオフはエントロピー正則化の強さによって決定される。 どちらの学習アルゴリズムも、$mathcalO(sqrtN)$(対数係数まで)を$N$のエピソードよりも高く、文献から最もよく知られた結果と一致することを証明している。
  論文  参考訳（メタデータ） (2022-08-08T23:36:40Z)
• Action Redundancy in Reinforcement Learning [54.291331971813364]
  遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。 その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T19:47:26Z)
• Entropy-Augmented Entropy-Regularized Reinforcement Learning and a Continuous Path from Policy Gradient to Q-Learning [5.185562073975834]
  エントロピー増強が改革され、目的関数に追加のエントロピー項を導入するモチベーションがもたらされる。 結果として、現在の政策からソフトマックスグレディ政策に補間しながら、単調に改善する政策がもたらされる。
  論文  参考訳（メタデータ） (2020-05-18T16:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。