論文の概要: Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2608.08176v1
• Date: Sat, 08 Aug 2026 15:13:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.711349
• Title: Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation
• Title（参考訳）: 生徒の学習能力に合わせる: オンライン自己蒸留のための統一的枠組み
• Authors: Yongkang Yang, Zhezheng Hao, Hong Zhang, Yi Liu, Xiankun Lin, Wence Ji, Fanjunduo Wei, Jiarui Yu, Qiang Lin, Xiaoyun Liang, Hande Dong,
• Abstract要約: On-policy self-distillation (OPSD) は、特権付きコンテキストをモデルパラメータに内部化することにより、LLMの推論能力を向上させる。 ラグランジアンを解くための軽量オンラインアルゴリズムであるUnified On-Policy Self-Distillation (USD)を提案する。 USDは、様々なモデルスケールでOPSDやトークンやPI側のベースラインよりも優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 7.759584418408814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) improves the reasoning abilities of LLMs by internalizing privileged context into model parameters through self-distillation. Two recent research lines promote vanilla OPSD by choosing which tokens to learn from and by controlling how much privileged information the teacher receives, respectively. However, we show that each line optimizes one variable while holding the other fixed, which leads to a suboptimal solution. We argue that the two variables are coupled through the student's learning capacity: the privileged information sets the per-token divergence the teacher prescribes, while token weighting selects which of these the student must absorb. We formalize the two lines of work into a unified optimization framework, which maximizes the aggregate teacher--student divergence, subject to a budget on the aggregate learning difficulty the student can absorb. Under this modelling, we propose Unified On-Policy Self-Distillation (USD), a lightweight online algorithm to solve the Lagrangian. USD reveals that a single dual variable governs both decisions: at one price for learning difficulty, it simultaneously sets the token-selection threshold and the direction of privileged-information adjustment, keeping supervision matched to the student's evolving capacity. Through extensive experiments, USD consistently demonstrates superior performance over OPSD and token- and PI-side baselines across various model scales on various reasoning benchmarks. Code is available at https://github.com/lauvlalala/USD.
• Abstract（参考訳）: On-policy self-distillation (OPSD) は、特権付きコンテキストを自己蒸留によってモデルパラメータに内部化することにより、LLMの推論能力を向上させる。 最近の2つの研究ラインは、どのトークンから学ぶかを選択し、教師がどれだけの特権情報を受け取るかを制御することで、バニラOPSDを促進する。 しかし、各行が一方を固定しながら一方の変数を最適化していることが示され、それによって準最適解が導かれる。 この2つの変数は、生徒の学習能力によって結合されている、と我々は主張する。特権情報によって、教師が規定する個別の分岐が設定され、トークン重み付けは、学生が吸収しなければならないこれらのどれかを選択する。 本研究では,学生が吸収できる総合的な学習難度に関する予算を条件として,教師の集団的分散を最大化する統一的な最適化フレームワークに2行の作業の形式化を行う。 本モデルでは,ラグランジアンを解くための軽量オンラインアルゴリズムであるUnified On-Policy Self-Distillation (USD)を提案する。 学習困難のための1つの価格で、トークン選択しきい値と特権情報調整の方向を同時に設定し、学生の進化する能力に合わせた監督を維持する。 広範な実験を通じて、USDは様々な推論ベンチマークに基づいて、OPSDやトークンやPI側のベースラインよりも優れた性能を示す。 コードはhttps://github.com/lauvlalala/USD.comで入手できる。

関連論文リスト

• OPD-V: Visual On-Policy Self-Distillation with Modality Balance [60.972871141106886]
  On-Policy Self-Distillation (OPSD)は、大規模言語モデル(MLLM)における視覚的推論を改善するための訓練後の標準的なアプローチとなっている。 既存の方法は、様々な入力源から特権情報を引き出し、自己蒸留を誘導する。 我々は,視覚的OPSDパラダイムであるOPD-Vを紹介し,正の教師と負の教師を通してそのような情報をインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-05T17:53:06Z)
• Weak-to-Strong On-Policy Distillation [21.651421588571296]
  Weak-to-Strong On-Policy Distillation (W2S-OPD)を導入した。 4つの数学と3つのコードベンチマークで、W2S-OPDはOPDを上回り、学生がドメイン教師を超越し、監督源が弱くなっても改善を続けることができる。
  論文  参考訳（メタデータ） (2026-07-28T20:31:48Z)
• Contrastive On-Policy Distillation [36.47487086937924]
  対照的なオンライン蒸留フレームワークである COPD を提案する。 COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
  論文  参考訳（メタデータ） (2026-07-21T12:35:04Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
  LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。 具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。 我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
  論文  参考訳（メタデータ） (2026-05-05T12:15:21Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。