論文の概要: Distilling the Shape of Uncertainty: What On-Policy Distillation Learns and How to Predict It

• arxiv url: http://arxiv.org/abs/2610.39020v1
• Date: Wed, 28 Oct 2026 22:53:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.017266
• Title: Distilling the Shape of Uncertainty: What On-Policy Distillation Learns and How to Predict It
• Title（参考訳）: 不確かさの形を蒸留する:オンライン蒸留の学習と予測方法
• Abstract要約: オンライン蒸留(OPD)は、大規模言語モデルのポストトレーニングにおいて、ますます採用されている。 OPDは、どの候補トークンを検討すべきか、またどの候補トークンを分岐すべきか、つまり推論パスを開いておくべき場所を学習する。 学習中のESCの追跡と,トークンの嗜好を保ちながら教師のエントロピーに介入することで,テキストトウハウとは無関係にOPDゲインを因果的に駆動するテキストトウハウジングを実証的に示す。
• 参考スコア（独自算出の注目度）: 17.656945757611528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) is increasingly adopted in the post-training of large language models. However, a stronger teacher may fail to improve the student. Prior work attributes this to a lack of new knowledge, but what that knowledge is remains unclear. We show that OPD learns not only \textit{how to branch}, i.e., which candidate tokens to consider, but also \textit{where to branch}, i.e., where to keep reasoning paths open. The existing token-overlap metric captures only the former. We introduce the entropy shape, the sequence of next-token entropies, to characterize the latter, and propose the Entropy Shape Correlation (ESC) to measure student-teacher agreement in entropy shape. Tracking ESC throughout training and intervening on a teacher's entropy while preserving its token preferences, we empirically show that \textit{where to branch} causally drives OPD gains, independently of \textit{how to branch}. Finally, we formulate OPD outcome prediction as a teacher selection task and establish an evaluation protocol for it, under which pre-OPD ESC selects the best teacher for both students and outperforms existing predictors. Code is available at https://github.com/maybenotime/opd-esc.
• Abstract（参考訳）: オンライン蒸留(OPD)は、大規模言語モデルのポストトレーニングにおいて、ますます採用されている。 しかし、より強い教師は生徒を改善するのに失敗するかもしれない。 以前の作業では、これは新しい知識の欠如によるものだが、その知識が何であるかは不明だ。 OPD は \textit{how to branch} だけでなく、どの候補トークンを検討すべきか、あるいは \textit{where to branch} も学習している。 既存のトークンオーバーラップメトリックは、前者のみをキャプチャする。 本研究では, エントロピー形状, 次点エントロピーの列を特徴付けるために導入し, エントロピー形状における生徒と教師の合意度を測定するために, エントロピー形状相関 (ESC) を提案する。 学習を通してESCを追跡し、トークンの好みを保ちながら教師のエントロピーに介入し、実証的に \textit{where to branch} が \textit{how to branch} とは独立にOPDゲインを因果的に駆動することを示す。 最後に,OPD結果予測を教師選択タスクとして定式化し,その評価プロトコルを確立する。 コードはhttps://github.com/maybenotime/opd-esc.comで入手できる。

関連論文リスト

• ATI-OPD: Adaptive Teacher Intervention for Stable Long-Sequence On-Policy Distillation [49.1911535337669]
  オンライン蒸留(OPD)は、教師からのトークンレベルのフィードバックを使って生徒に独自の反応を訓練する。 そこで本稿では, 教師指導を改善するために, オンライン蒸留(ATI-OPD)のテキストbf教師介入を提案する。
  論文  参考訳（メタデータ） (2026-10-28T02:00:26Z)
• Bridged Self-Distillation for On-Policy Learning [49.988786243314564]
  ブリッジド・セルフ蒸留(Bridged Self-Distillation、BSD)は、推論トレースを提供する教師から蒸留するためのフレームワークである。 BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗したロールアウトの更新を調整する。
  論文  参考訳（メタデータ） (2026-10-19T13:40:50Z)
• Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts [48.550535291129584]
  Prefix-Guided On-Policy Distillation (PG-OPD) は、固定長プレフィックスを用いて、高価な長距離発生前に軌跡値を推定する単純なロールアウト・アロケーションフレームワークである。 AMC、AIME、HMMTベンチマークの様々な教師/学生の組み合わせで、PG-OPDはトレーニング時間を最大2.46倍にし、平均精度を4.80ポイントまで改善している。
  論文  参考訳（メタデータ） (2026-06-20T11:18:34Z)
• Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation [39.39389868936592]
  教師の高密度監督は、textscOPDを通常の高密度パラメータ書き換えに変換しない。 代わりにtextscOPD は、オンラインのポストトレーニングの重要な幾何学的シグネチャを保持する。
  論文  参考訳（メタデータ） (2026-06-11T17:54:09Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Less is More: Early Stopping Rollout for On-Policy Distillation [39.392596318514244]
  早期停止ロールアウト(Early Stopping Rollout, ESR)は, ロールアウト生成を第1応答トークンに限定した簡易かつ効果的な蒸留戦略である。 その結果,ESRはモデルサイズ,家族,タスク,トレーニング体制全体にわたって,フルロールアウトのOPD性能を上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-05-26T13:49:37Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。