論文の概要: Beyond Entropy: Learning from Token-Level Distributional Deviations for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2606.19771v1
• Date: Thu, 18 Jun 2026 04:11:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.643031
• Title: Beyond Entropy: Learning from Token-Level Distributional Deviations for LLM Reasoning
• Title（参考訳）: エントロピーを超えて: LLM推論のためのトークンレベル分布偏差から学ぶ
• Authors: Xuanzhi Feng, Zhengyang Li, Zeyu Liu, Haoxi Li, Yuming Jiang, Bing Guo, Jingcai Guo, Jie Zhang, Song Guo,
• Abstract要約: Independent Combinatorial Tokens (ICT) フレームワークを導入し、スカラー不確実性からトークンロジットの分布特性へ最適化の焦点を移す。 シャノンと2階レニイエントロピーの両方に基礎を置く我々の理論的分析は、これらのトークンを選択的に更新することが政策集中を調節していることを証明している。 実証的な結果は、Qwen2.5 (0.5B/1.5B/7B)モデル上のユニークなトークンの上位10%だけを更新すると、平均パス@4の改善が4.58%、最大14.9%、GRPO、20エントロピー、STAPOベースラインよりも向上したことを示している。
• 参考スコア（独自算出の注目度）: 36.34371525731833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced Large Language Model (LLM) reasoning; however, it faces a fundamental optimization instability: uniform token updates precipitate entropy collapse, leading to premature convergence to suboptimal strategies, whereas excessive Shannon Entropy maximization can cause entropy explosion, driving blind exploration toward incoherent reasoning chains. To resolve this dichotomy, we introduce the Independent Combinatorial Tokens (ICT) framework, which shifts the optimization focus from scalar uncertainty to the distributional properties of token logits. By leveraging the Jensen-Shannon (JS) divergence between token logits distributions, ICT identifies tokens with distinctive distributional patterns as critical branching points for guiding effective exploration in LLM reasoning. Our theoretical analysis, grounded in both Shannon and second-order Rényi entropy, proves that selectively updating on these tokens regulates policy concentration: it reduces the overall distribution uncertainty measured by Shannon entropy, while controlling probability concentration captured by second-order Rényi entropy. This dual effect prevents over-concentrated token generation from weakening exploration and effectively stabilizes the training landscape. Empirical results demonstrate that updating only the top 10% of unique tokens on Qwen2.5 (0.5B/1.5B/7B) models yields an average pass@4 improvement of 4.58%, with a maximum gain of 14.9%, over GRPO, 20-Entropy, and STAPO baselines across seven benchmarks spanning math, commonsense, and Olympiad-level problems.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は大きな言語モデル(LLM)推論をかなり進歩させたが、基本的な最適化の不安定さに直面している: 均一なトークン更新はエントロピーの崩壊を誘発し、最適以下の戦略に早急に収束する一方、過剰なシャノンエントロピーの最大化はエントロピーの爆発を引き起こす可能性がある。 この二分法を解決するために、トークンロジットのスカラー不確実性から分布特性への最適化焦点をシフトするIndependent Combinatorial Tokens(ICT)フレームワークを導入する。 トークンロジット分布間のJensen-Shannon(JS)のばらつきを利用して、ICTは、LLM推論における効果的な探索を導く重要な分岐点として、固有の分布パターンを持つトークンを識別する。 我々の理論解析はシャノンエントロピーと2階レニーエントロピーの両方に基礎を置いており、これらのトークンを選択的に更新することで、シャノンエントロピーによって測定された全体的な分布不確実性を減らすとともに、2階レニーエントロピーによって捕獲された確率濃度を制御できることを証明している。 この二重効果は、過濃度のトークン生成が探索を弱めるのを防ぎ、トレーニングランドスケープを効果的に安定化させる。 実証的な結果は、Qwen2.5(0.5B/1.5B/7B)モデル上のユニークなトークンの上位10%だけを更新すると、平均パス@4の改善が4.58%、最大14.9%、GRPO、20エントロピー、STAPOベースラインが数学、常識、オリンピアードレベルの問題にまたがる7つのベンチマークにまたがる。

関連論文リスト

• STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability [78.63876433996107]
  GRPOの下でトークンレベルのエントロピーダイナミクスの1次勾配解析を行う。 本稿では,バッチ内部量子化によるエントロピークリティカルトークンのサブセットを識別するSTAREを提案する。 AIME24とAIME25では、STAREはDAPOや他の競争ベースラインを平均精度で4%-8%上回っている。
  論文  参考訳（メタデータ） (2026-06-17T16:13:42Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• From Broad Exploration to Stable Synthesis: Entropy-Guided Optimization for Autoregressive Image Generation [53.759125791348396]
  Reinforcement Learning (RL) によるChain-of-Thought (CoT) は、テキスト・ツー・イメージ(T2I) の生成を改善する。 本稿では,3つの重要な洞察をもたらすエントロピーに基づく系統的分析について述べる。 本稿では,不確実性により最適化予算を再配置する微調整戦略であるエントロピー誘導グループ相対政策最適化(EG-GRPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-12T12:49:26Z)
• STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens [38.425692691443764]
  既存の強化学習(RL)ファインチューニング手法は、安定性を維持するためにエントロピー正則化と再重み付けに大きく依存している。 実際には、彼らはしばしば後期的なパフォーマンスの崩壊に悩まされ、推論品質の低下と不安定なトレーニングにつながります。 トレーニングの不安定性は、約0.01%の少量のトークンによって引き起こされる可能性がある。 安定かつ効果的な大規模モデル改良を促進するSTAPO(Spurious-Token-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-02-17T14:46:48Z)
• Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities [10.235183326885794]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLMs)における推論の強化に欠かせないパラダイムとして登場した。 我々は、この問題をサンプリング確率力学の観点から分析し、標準目的が高次様相の経路を不均等に強化することを特定する。 提案手法は,すべての応答に対する信頼度を平衡化するための新しいアドバンテージ再重み付け機構 (ARM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:06:55Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Agentic Entropy-Balanced Policy Optimization [114.90524574220764]
  エージェント強化学習(Agentic RL)は,Webエージェントの多ターン,長期ツール利用能力の活性化に大きく貢献している。 RLアルゴリズムはエントロピーの誘導の下で、高不確実性ツールコールステップを自律的に探索するが、エントロピー信号への過度な依存は、さらなる制約を課す可能性がある。 本稿では,エージェント・エントロピー・バランサード・ポリシー最適化(AEPO, Agentic Entropy-Balanced Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T10:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。