論文の概要: Divergence controls entropy in distillation

• arxiv url: http://arxiv.org/abs/2610.03529v1
• Date: Fri, 02 Oct 2026 16:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.475075
• Title: Divergence controls entropy in distillation
• Title（参考訳）: 蒸留における多様性制御エントロピー
• Abstract要約: 本研究では, 学生のエントロピーが, 蒸留目標を定義するデータと分散度にどのように依存するかを検討する。 フォワードKLは教師より上の生徒のエントロピーを膨らませていることを証明している。 逆KLは、生徒と教師の間のギャップが大きすぎるまでエントロピーを減少させる。
• 参考スコア（独自算出の注目度）: 15.044656229996123
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Distillation has become a core primitive of large language model training, but its properties are not yet well understood. We take an entropic perspective, studying how the entropy of the student depends on the data and the divergence that define the distillation objective. We prove that forward KL inflates the entropy of the student above that of the teacher. Since cross-entropy training is a special case, this yields an identity that we verify quantitatively in pretraining and supervised finetuning. Other divergences come with no such guarantee: reverse KL deflates entropy until the gap between student and teacher gets too large, and interpolating between the two changes entropy smoothly early in training but abruptly at convergence. The lower entropy of on-policy distillation comes from token-level reverse KL, not from on-policy sampling. The divergence therefore acts as an implicit entropy regularizer, whose role is clearest in self-distillation: as conditioning on privileged information deflates entropy, the divergence hyperparameters that work best are those that compensate for it.
• Abstract（参考訳）: 蒸留は大規模な言語モデルトレーニングのコアプリミティブとなっているが、その特性はまだよく理解されていない。 我々は, 生徒のエントロピーが, 蒸留目標を定義するデータと分散度にどのように依存するかを, エントロピー的視点で検討する。 フォワードKLは教師より上の生徒のエントロピーを膨らませていることを証明している。 クロスエントロピートレーニングは特別な場合であるため、事前学習や教師付き微調整において定量的に検証できるアイデンティティが得られる。 逆KLは、学生と教師の間のギャップが大きすぎるまでエントロピーをデフレし、トレーニングの初期段階で円滑にエントロピーを補間するが、突然収束する。 オン・ポリシス蒸留の低いエントロピーは、オン・ポリシスサンプリングではなくトークンレベルの逆KLに由来する。 特権情報に対する条件付けはエントロピーを減少させるので、最もうまく機能する発散ハイパーパラメータはそれを補うものである。

関連論文リスト

• Human-Centered Learning Mechanics: A Dynamical Framework for Entropy-Regulated Representation Learning [1.1675763847424785]
  オープンかつ制御された学習システムのための動的・情報理論の枠組みを提案する。 中心となる考え方は、選択されたエントロピーサロゲートが非退化情報力を生成する場合にのみ、エントロピー正則化が有用であるということである。 制御された表現学習実験は、幾何エントロピーがソフトマックス正規化エントロピーよりも強くより安定した情報力をもたらすという仮説を支持する。
  論文  参考訳（メタデータ） (2026-05-21T18:16:39Z)
• Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
  実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。 本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:47:05Z)
• Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization [53.75029276020459]
  本研究では,エントロピー変化への寄与に応じて,エントロピー増加とエントロピー減少の更新を再スケールする適応的エントロピーフローバランス機構を提案する。 6つの数学的推論ベンチマークの実験は、OPEFOがトレーニングと最終的なパフォーマンスを改善することを示した。
  論文  参考訳（メタデータ） (2026-05-12T04:08:17Z)
• Mind Your Entropy: From Maximum Entropy to Trajectory Entropy-Constrained RL [56.085103402298905]
  本稿では,この2つの課題に対処する軌道エントロピー制約強化学習(TECRL)フレームワークを提案する。 このフレームワーク内では、まず報酬とエントロピーに関連する2つのQ-関数を個別に学習し、温度更新の影響を受けないクリーンで安定した値ターゲットを確保する。 我々は,3つの改良を加えて,最先端の分散型ソフトアクター批判を拡張して,現実的な非政治的アルゴリズムDSAC-Eを開発した。
  論文  参考訳（メタデータ） (2025-10-25T09:17:47Z)
• The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models [99.98293908799731]
  本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 実際には、エントロピーHと下流性能Rの間の変換方程式R=-a*eH+bを確立する。 Clip-Cov と KL-Cov という2つの単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:38:45Z)
• Coupled Entropy: A Goldilocks Generalization for Complex Systems [2.1756081703276]
  Tsallisエントロピーは、textitq独立で同じ分散ランダム変数が同じ状態を共有するパワー確率$p_iq$を考えることから生まれた。 残念ながら、$q$-exponentialパラメータは、形とスケールの有効な代用として扱われた。 この欠陥は一般化温度の誤解釈と一般化エントロピーの不正確な導出を引き起こす。
  論文  参考訳（メタデータ） (2025-05-17T19:00:25Z)
• Entropy production and fluctuation theorems in a continuously monitored optical cavity at zero temperature [0.0]
  我々は、連続的に測定されたゼロ温度量子系のエントロピー生成を理解するために、クルックスのゆらぎ定理を用いる。 零温度では、逆温度の古典的な定義を$beta$とすると、エントロピー生成は発散する。
  論文  参考訳（メタデータ） (2021-09-05T05:18:02Z)
• Aspects of Pseudo Entropy in Field Theories [0.0]
  自由スカラー場の理論とXYスピンモデルを数値的に解析する。 これは多体系における擬エントロピーの基本的性質を明らかにする。 差の非正則性は、初期状態と最終状態が異なる量子相に属する場合にのみ破ることができる。
  論文  参考訳（メタデータ） (2021-06-06T13:25:35Z)
• Action Redundancy in Reinforcement Learning [54.291331971813364]
  遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。 その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T19:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。