論文の概要: Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives

• arxiv url: http://arxiv.org/abs/2609.38666v1
• Date: Tue, 29 Sep 2026 23:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.851894
• Title: Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives
• Title（参考訳）: オフ・アンド・オン・ポリシィ蒸留の理解--個別学習目標の物語
• Abstract要約: 複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
• 参考スコア（独自算出の注目度）: 51.632660339442616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) learns from teacher feedback on student-generated responses and has shown promise in reducing forgetting relative to supervised fine-tuning (SFT). However, its benefits and fragility remain incompletely understood. We study sequential distillation from multiple teachers, where the student minimizes its average divergence from the teachers. Forward Kullback--Leibler (KL) divergence yields a weighted arithmetic mixture, while reverse KL yields a normalized weighted geometric aggregate. We develop algorithms that learn these targets under off-policy and on-policy feedback, respectively, establishing logarithmic regret bounds in the tabular setting and extending the analysis to function approximation. By analyzing these aggregation targets, we identify mechanisms that help explain both the benefits and fragility of OPD. Relative to forward KL, reverse KL can better retain a confident expert's preferences under uninformative feedback, but is more sensitive to teachers that assign very low probabilities to correct responses. Its token-level conditionals also reveal a dependence on continuation distributions that can favor incorrect prefixes over long horizons.
• Abstract（参考訳）: オンライン蒸留(OPD)は,教師のフィードバックから学生の反応を学習し,教師による微調整(SFT)に対する忘れの軽減を約束している。 しかし、その利点と脆弱さはいまだに完全に理解されていない。 複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 Forward Kullback--Leibler (KL) の発散は重み付き算術混合であり、逆に KL は正規化された重み付き幾何集合である。 我々は,これらの目標を,それぞれオフ・ポリティクスとオン・ポリティクスのフィードバックの下で学習するアルゴリズムを開発し,表の設定に対数的後悔境界を設定し,解析を関数近似に拡張する。 これらのアグリゲーションターゲットを解析することにより、PDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。 KLを前進させるのに対して、逆KLは自信のある専門家の選好を非形式的フィードバックの下で維持するが、非常に低い確率で反応を正す教師に敏感である。 トークンレベルの条件は、長い地平線上で不正確な接頭辞を好む連続分布への依存も示している。

関連論文リスト

• When Sparse Reward Meets Dense Distillation: Training Dynamics of On-Policy Distillation [25.30536937191518]
  検証可能な報酬による強化学習は、訓練後の疎い信号を提供する。 成長するメソッドの族は、政策段階の目的にスカラー重み付き教師KL項を付加する。 これらの信号を組み合わせる利点があるにもかかわらず、最適化中の相互作用は関節のトレーニングを不安定にすることができる。
  論文  参考訳（メタデータ） (2026-09-28T10:43:53Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Trapped by Their Own Rollouts: Understanding Aggregation--Rollout Feedback in Federated On-Policy Distillation [21.610540680175294]
  オンライン蒸留(OPD)は言語モデル適応への有望なアプローチである。 フェデレーションOPDについて検討し、学習速度の感度によってかなりのコラボレーションの利得が明らかになることを示した。 本稿では,FedAvg更新の規模をクライアントワイド予測変更制約に適応させるため,現在のトラジェクトリに対する教師のフィードバックを再利用するFedTOPSを提案する。
  論文  参考訳（メタデータ） (2026-09-26T12:48:43Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• Rethinking Reverse KL as Adaptive Entropy Distillation [18.957879192719762]
  教師のエントロピーを用いてトークンレベルの模倣強度を動的に校正するtextbfAdaptive Entropy Distillation (AED)を提案する。 AEDは、全体的なパフォーマンスを向上し、一般的に、教師の分散とエントロピーのアライメントを改善する。
  論文  参考訳（メタデータ） (2026-08-05T04:27:37Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• ToDi: Token-wise Distillation via Fine-Grained Divergence Control [9.958797874295355]
  Token-wise Distillation (ToDi) は、Sigmoid-based weighting function を用いてトークンごとのフォワードKLとリバースKLを適応的に結合する新しい方法である。 ToDiは、均一またはより粒度の低い戦略を用いて、最近の蒸留ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-22T06:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。