論文の概要: PAEC: Position-Aware Entropy Calibration for LLM Reasoning in RLVR

• arxiv url: http://arxiv.org/abs/2606.08543v1
• Date: Sun, 07 Jun 2026 09:51:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.19883
• Title: PAEC: Position-Aware Entropy Calibration for LLM Reasoning in RLVR
• Title（参考訳）: PAEC:RLVRにおけるLDM推論のための位置認識エントロピー校正
• Authors: Shumeng Yang, Yisu Liu, Jiayi Zheng, Zhaohui Yang, Linjing Li,
• Abstract要約: 報酬を伴う強化学習は、しばしば急激な政策-エントロピー崩壊に苦しむ。 トークンレベルのエントロピー管理フレームワークである位置認識エントロピー(PAEC)を提案する。 この結果から,PAECは決定に敏感な位置に対する選択的探索割当として定式化されるべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 21.25142193407347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) improves large language model reasoning but often suffers from rapid policy-entropy collapse, where the policy prematurely concentrates on narrow high-probability reasoning paths. While global entropy regularization can encourage exploration, uniformly increasing entropy across all token positions is inefficient for long reasoning trajectories, where many tokens are not decision-relevant. We propose Position-Aware Entropy Calibration (PAEC), a token-level entropy-management framework that constructs a soft mask from local top-p entropy and top-two candidate competition, and applies an anchor-based lower-bound penalty to prevent selected-position entropy collapse. Experiments on five mathematical reasoning benchmarks show that PAEC improves macro-average majority-vote performance over strong RLVR baselines, with clear gains on AIME-style tasks. Our results suggest that entropy management in reasoning RL should be formulated as selective exploration allocation over decision-sensitive positions rather than uniform randomness injection.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、大きな言語モデル推論を改善するが、しばしば急激な政策エントロピー崩壊に苦しむ。 グローバルエントロピー正則化は探索を促進するが、全てのトークン位置におけるエントロピーの均一増加は、多くのトークンが決定関連ではない長い推論軌道にとって非効率である。 本研究では,局所的なトップpエントロピーとトップ2候補からソフトマスクを構成するトークンレベルのエントロピー管理フレームワークである位置認識エントロピー校正(PAEC)を提案し,アンカーベースの下限ペナルティを適用して,選択された位置エントロピー崩壊を防止する。 5つの数学的推論ベンチマークの実験により、PAECは強力なRLVRベースラインよりもマクロ平均多数投票性能を向上し、AIMEスタイルのタスクに明らかな利得が得られた。 この結果から,RL推論におけるエントロピー管理は,一様ランダム性注入ではなく,決定に敏感な位置に対する選択的探索割当として定式化されるべきであることが示唆された。

関連論文リスト

• Taming the Thinker: Conditional Entropy Shaping for Adaptive LLM Reasoning [63.36243250685778]
  Conditional Entropy Shaping (CES)はトークンレベルの応答エントロピーを動的に制御するフレームワークである。 CESは、DAPOに対する応答長を減少させながら、平均精度を継続的に改善する。
  論文  参考訳（メタデータ） (2026-05-19T04:41:51Z)
• Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
  実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。 本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:47:05Z)
• Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization [53.75029276020459]
  本研究では,エントロピー変化への寄与に応じて,エントロピー増加とエントロピー減少の更新を再スケールする適応的エントロピーフローバランス機構を提案する。 6つの数学的推論ベンチマークの実験は、OPEFOがトレーニングと最終的なパフォーマンスを改善することを示した。
  論文  参考訳（メタデータ） (2026-05-12T04:08:17Z)
• ERPO: Token-Level Entropy-Regulated Policy Optimization for Large Reasoning Models [3.463914032107119]
  グループ相対政策最適化(GRPO)は一般にすべてのトークンに対して一様でシーケンスレベルの利点を割り当てる。 本稿では,最適化の焦点を粗いシーケンスからきめ細かいトークンダイナミクスに移行するエントロピー制御ポリシ最適化(ERPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-30T09:20:25Z)
• Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning [32.332197731504046]
  デコード戦略は、大きな言語モデルの推論能力を形成する上で、中心的な役割を果たす。 グレディ復号やビームサーチといった従来の手法は、しばしばエラーの伝播に悩まされる。 本稿では,トークンレベルの適応性を世代に導入するエントロピー誘導復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-10T23:08:26Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。