論文の概要: Order-Only On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2611.02112v1
• Date: Sun, 01 Nov 2026 18:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.527783
• Title: Order-Only On-Policy Distillation
• Title（参考訳）: オーダーオン・オン・ポリシィ蒸留
• Abstract要約: オンライン蒸留は、教師のトークン確率を一致させて、生徒を自身の世代で訓練する。 注文のみのオンライン蒸留(O$3$PD)を提案する。 O$3$PDは、生徒に、確率値に適合することなく、教師のトップ$K$トークンの順序を再現するように訓練する。
• 参考スコア（独自算出の注目度）: 7.150523118389697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) trains a student on its own generations by matching the teacher's token probabilities. These probabilities entangle two kinds of information: which tokens the teacher prefers, and how confident it is. The latter reflects the teacher's own capacity and calibration, which a smaller student may be unable to reproduce. Because the teacher temperature changes these values without changing the ordering, OPD is also sensitive to the temperature choice. We ask whether the teacher's ordering of candidate tokens is enough, and propose Order-Only On-Policy Distillation (O$^{3}$PD). At each student-generated prefix, O$^{3}$PD trains the student to reproduce the order of the teacher's top-$K$ tokens, without fitting their probability values. The objective is therefore invariant to the teacher temperature and needs no temperature tuning. Across six teacher--student pairs, O$^{3}$PD outperforms OPD on the average over HMMT25, AIME24, and AIME25 in every pair, by up to 2.9 points, with gains of up to 5.6 points on AIME25. Other ranking losses yield similar gains, so the benefit comes from ordinal supervision itself. Analysis shows that O$^{3}$PD departs further from the teacher's probabilities than OPD, yet reproduces its ranking more faithfully and yields a stronger student. The ranking, not the probability values, thus carries the knowledge that on-policy distillation needs to transfer.
• Abstract（参考訳）: オンライン蒸留(OPD)は、教師のトークン確率を一致させることで、生徒を自身の世代で訓練する。 これらの確率は、教師がどのトークンを好むか、どのくらい自信があるかという2つの種類の情報を絡み合わせる。 後者は教師自身の能力と校正を反映しており、小学生は再現できないかもしれない。 教師の温度は順序を変えずに変化するため、PDは温度選択にも敏感である。 候補トークンの順序付けが十分かどうかを問うとともに,O$^{3}$PDのオーダーオンリー・オン・ポリシィ蒸留を提案する。 各学生生成プレフィックスにおいて、O$^{3}$PDは、確率値に適合することなく、教師のトップ$K$トークンの順序を再現するよう学生に訓練する。 この目的は教師の温度に不変であり、温度調整は不要である。 O$^{3}$PDは6つの教師-学生ペアの中で、平均でHMMT25、AIME24、AIME25よりも2.9ポイント、AIME25では最大5.6ポイント高い。 他のランキングの損失も同様の利益を得るので、その利益は序列の監督そのものから得られる。 分析によると、O$^{3}$PD は教師の確率から OPD より遠ざかっているが、そのランクを忠実に再現し、より強い学生を生み出す。 したがって、確率値ではなくランク付けは、オン・ポリケーション蒸留が移行する必要があるという知識をもたらす。

関連論文リスト

• When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better [63.03571783102715]
  単純な選択肢であるSemi-OPDは、精度とトレーニング効率の両方でOPDより優れていることがよく示される。 17組の教師と学生のペアで、Semi-OPDは最大で+13.6%の精度と11.4倍のトレーニングスピードアップでPDを上回った。
  論文  参考訳（メタデータ） (2026-10-08T05:54:03Z)
• E$^2$-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation [31.08813672185829]
  模範指導は、現在の答えを解決された隣り合う問題に置き換える。 E$2$-OPSDは、OPSDよりも平均4.3ポイントの数学推論を改善する。
  論文  参考訳（メタデータ） (2026-10-04T08:32:33Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
  ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。 そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
  論文  参考訳（メタデータ） (2026-08-10T16:53:14Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。