論文の概要: E$^2$-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.05048v1
• Date: Sun, 04 Oct 2026 08:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.351204
• Title: E$^2$-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation
• Title（参考訳）: E$^2$-OPSD:オンポリシィ自己蒸留におけるエントロピーオーバーシュート処理
• Abstract要約: On-policy self-distillation (OPSD) は、第2モデルなしで高密度なトークンレベルの監視を提供する。 E$2$-OPSDは、OPSDよりも平均4.3ポイントの数学推論を改善する。 E$2$-OPSDは依然として単純であり、追加のフォワードパスやネットワークは不要である。
• 参考スコア（独自算出の注目度）: 31.08813672185829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) provides dense token-level supervision without a second model: one network acts as teacher with the reference solution and as student with only the problem. We identify a specific failure mode of this recipe. During training, student token entropy rises past the teacher's and remains elevated, a pattern we call entropy overshoot. We trace it to both sides of distillation. The reference-conditioned teacher is confident along its answer-directed reasoning path, but this confidence transfers poorly to student-generated prefixes, making its supervision overly tied to answer-specific cues rather than reusable reasoning patterns; meanwhile, the forward KL used by OPSD continually diffuses the student's predictive distribution without pulling it back. We introduce E$^2$-OPSD to address both causes. Exemplar-guided teaching replaces the current answer with a retrieved solved neighboring problem, providing transferable reasoning guidance without revealing the destination and better matching student-reachable states. Entropy-aware distillation uses the student-teacher entropy gap to determine the direction and strength of each token's correction. E$^2$-OPSD improves math reasoning by up to 4.3 points in mean@16 over OPSD, while out-of-domain evaluations show gains over the corresponding base models of up to 4.9 points in mean@16 and 5.5 points in pass@8. Despite these gains, E$^2$-OPSD remains simple, requiring no additional forward passes or networks.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、第2のモデルなしに、密集したトークンレベルの監視を提供する: 1つのネットワークは、参照ソリューションの教師として、そして、問題のみの学生として機能する。 このレシピの特定の障害モードを特定します。 訓練中、学生トークンのエントロピーは教師の部屋を通り過ぎて上昇し、エントロピーオーバーシュートと呼ばれるパターンが残っている。 私たちはそれを蒸留の両側まで辿った。 基準条件付き教師は、回答指向推論経路に自信を持っているが、この自信は学生が生成した接頭辞に乏しく、その監督は、再利用可能な推論パターンではなく、回答固有の手がかりに過度に結びついている。 両原因に対処するためにE$^2$-OPSDを導入する。 模範指導は、現在の回答を、解決された解決された隣り合う問題に置き換え、目的地を明かさずに伝達可能な推論ガイダンスを提供し、生徒が到達可能な状態により良いマッチングを提供する。 エントロピーを意識した蒸留では、生徒と教師のエントロピーギャップを使用して、各トークンの補正の方向と強度を決定する。 E$^2$-OPSDは平均@16で4.3ポイント、ドメイン外評価では平均@16で4.9ポイント、パス@8で5.5ポイントである。 これらの利益にもかかわらず、E$^2$-OPSDは単純であり、追加のフォワードパスやネットワークを必要としない。

関連論文リスト

• What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
  共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。 生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。 我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:08:31Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning [54.402550664505576]
  オンライン蒸留(OPD)は、より強力な教師モデルから短文の学生に推論能力を伝達する有望な方法を提供する。 長文推論モデル SU-01 から短文学習者モデルへの証明推論能力の移譲により,この設定について検討する。 Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4を含む同族および異族の両方の実験は、数学的推論において一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-08-14T12:57:02Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
  オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T23:16:19Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information [22.436966302243565]
  本稿では,学生と教師の相違を増す反自己蒸留法を提案する。 AntiSDはGRPOベースラインの精度を2倍から10倍にし、最終精度を最大11.5ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-12T06:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。