論文の概要: Rethinking Entropy Regularization in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2509.25133v1
• Date: Mon, 29 Sep 2025 17:49:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.181389
• Title: Rethinking Entropy Regularization in Large Reasoning Models
• Title（参考訳）: 大規模推論モデルにおけるエントロピー正規化の再考
• Authors: Yuxian Jiang, Yafu Li, Guanxu Chen, Dongrui Liu, Yu Cheng, Jing Shao,
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大きな推論モデル(LRM)の推論能力を高める上で大きな可能性を示している。 エントロピー崩壊と早期収束という重大な問題に悩まされている。 本稿では,SIREN(SelectIve entRopy rEgularizatioN)を提案する。
• 参考スコア（独自算出の注目度）: 43.961667993429906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has shown great promise in enhancing the reasoning abilities of large reasoning models (LRMs). However, it suffers from a critical issue: entropy collapse and premature convergence. Naive entropy regularization, a common approach for encouraging exploration in the traditional RL literature, fails to address this problem in the context of LRM. Our analysis reveals that this failure stems from the vast action space and long trajectories in LRMs, which easily trigger a global entropy explosion as the model indiscriminately explores all possible actions and states. To address this, we propose SIREN (SelectIve entRopy rEgularizatioN), a method that confines exploration to a meaningful subset of actions and states. SIREN achieves this through a two-step entropy masking mechanism, consisting of a top-p mask and a peak-entropy mask. In addition, regularization is transformed into a self-anchored form to stabilize training. Across five mathematical benchmarks, SIREN attains superior average performance over previous entropy-related RLVR approaches, exemplified by a +6.6 maj@k improvement on AIME24/25 with Qwen2.5-Math-7B. Further analysis confirms that SIREN promotes greater response diversity and maintains entropy at an appropriate level, which helps to preserve the validation pass@k throughout training. This effectively mitigates the premature convergence problem common in RLVR for LRM.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は,大推理モデル(LRM)の推論能力の向上に大きく貢献している。 しかし、エントロピー崩壊と早期収束という重大な問題に悩まされている。 従来のRL文献における探索を奨励する一般的なアプローチであるナイーブエントロピー正則化(英語版)は、LRMの文脈においてこの問題に対処することができない。 我々の分析によると、この故障はLRMの広い活動空間と長い軌道から生じており、モデルがあらゆる可能な行動や状態について無差別に探索するので、容易に大域的なエントロピー爆発を引き起こす。 そこで我々は,SIREN(SelectIve entRopy rEgularizatioN)を提案する。 SIRENは、トップpマスクとピークエントロピーマスクからなる2段階のエントロピーマスク機構によってこれを達成している。 また、正規化は訓練を安定させるために自己調整形式に変換される。 5つの数学ベンチマークで、SIRENは、Qwen2.5-Math-7Bで AIME24/25 の +6.6 maj@k の改善により、従来のエントロピー関連 RLVR アプローチよりも優れた平均性能を達成している。 さらなる分析により、SIRENはより大きな応答多様性を促進し、適切なレベルでエントロピーを維持し、トレーニングを通して検証パス@kを維持するのに役立つことが確認される。 これにより、LDM の RLVR に共通する初期収束問題を効果的に緩和する。

関連論文リスト

• Quantile Advantage Estimation for Entropy-Safe Reasoning [44.192277495613695]
  RLVRによる強化学習はLLM推論を強化するが、エントロピー崩壊とエントロピー爆発の間のトレーニングはしばしば振動する いずれのハザードも値のないRLで使われる平均ベースラインに辿り着くが、これは不適切に報酬のアウトリージの下で負のアドバンテージサンプルをペナルティ化する。 本稿では,平均値をグループ単位のK量子基底線に置き換えた量子アドバンテージ推定(QAE)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:37:52Z)
• EPO: Entropy-regularized Policy Optimization for LLM Agents Reinforcement Learning [15.529826552402769]
  スパース報酬を伴うマルチターン環境におけるLLMエージェントの訓練は、強化学習の根本的な課題である。 この設定に特有のクリティカルな障害モード、すなわち探索・探索カスケードの障害を特定します。 本稿では,この障害サイクルを3つの相乗的メカニズムによって破る一般的なフレームワークであるエントロピー規則化政策最適化(EPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T16:51:44Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [58.559544190947584]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• CURE: Critical-Token-Guided Re-Concatenation for Entropy-Collapse Prevention [24.71056659948577]
  本稿では,探索と利用のバランスをとる2段階フレームワークCURE(Critical-token-gUided Re Concatenation for Entropy-collapse Prevention)を紹介する。 CUREは6つのベンチマークで5%のパフォーマンス向上を実現し、エントロピーと精度の両方で最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2025-08-14T18:40:34Z)
• The Invisible Leash: Why RLVR May or May Not Escape Its Origin [47.488691410579925]
  RLVRの現在の実践がモデルの推論境界を真に拡張するかどうかは不明である。 現在の訓練条件下では、RLVRはサポート制約付き最適化メカニズムとして動作することができる。 RLVRは精度を確実に向上させるが、探索は徐々に狭くなり、正しく表現されていない解を見落としてしまう可能性がある。
  論文  参考訳（メタデータ） (2025-07-20T07:04:08Z)
• Elucidated Rolling Diffusion Models for Probabilistic Weather Forecasting [52.6508222408558]
  Eucidated Rolling Diffusion Models (ERDM)を紹介する。 ERDMはEucidated Diffusion Models (EDM) の原理的, 性能的設計とローリング予測構造を統一する最初のフレームワークである 2D Navier-StokesシミュレーションとERA5グローバル気象予報の1.5円解像度では、ERDMはキー拡散ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-06-24T21:44:31Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• Adversarial Inverse Reinforcement Learning for Mean Field Games [17.392418397388823]
  平均場ゲーム(MFG)は、大規模マルチエージェントシステムをモデル化するための数学的に抽出可能なフレームワークを提供する。 本稿では,実証における不確実性に対処可能な新しいフレームワーク,Mean-Field Adversarial IRL(MF-AIRL)を提案する。
  論文  参考訳（メタデータ） (2021-04-29T21:03:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。