論文の概要: On-Policy Transition Distillation
- arxiv url: http://arxiv.org/abs/2610.28048v1
- Date: Tue, 20 Oct 2026 11:37:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.781626
- Title: On-Policy Transition Distillation
- Title（参考訳）: オン・ポリシィ遷移蒸留
- Abstract要約: オンライン蒸留は、教師と学生の最終層分布を一致させることで、専門家の能力を1人の学生に集約する。
On-Policy Transition Distillation (OPTD) は教師層と学生層間の対数確率の増大を調整して最終層分布のマッチングを強化する。
- 参考スコア（独自算出の注目度）: 15.138749650743174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) consolidates expert capabilities into a single student by matching teacher and student final-layer distributions on student-generated rollouts. We investigate whether depthwise prediction transitions, the changes in predictions between layers, can provide additional task-relevant supervision. Our diagnostic study finds that stronger teacher--student agreement in intermediate transitions is associated with higher answer correctness within questions, with correct responses exhibiting lower mean transition KL across all measured intermediate layer pairs. These observations motivate On-Policy Transition Distillation (OPTD), which augments final-layer distribution matching by aligning teacher and student layer-to-layer log-probability increments on student-generated rollouts. Evaluations across three backbones and eight benchmarks spanning mathematics, coding, and instruction following show that OPTD achieves the best or tied-best overall performance in both dual- and three-domain distillation. In the three-domain setting, OPTD recovers $\approx 90\%$ of the overall teacher--student capability gap, compared with $\approx 75\%$ for OPD.
- Abstract（参考訳）: On-policy distillation (OPD)は、学生が生み出すロールアウトにおける教師と学生の最終層分布を一致させることで、専門家の能力を1人の学生に集約する。
本研究は,階層間の予測変化である深部予測遷移が,タスク関連監視に役立てられるかどうかを考察する。
診断では, 中間層間の教師・学生の合意が, 質問の回答の正解率と相関し, 回答の正解率は, 全中間層間の平均遷移KLが低いことが判明した。
これらの観察は、教師と学生層間対数確率の増大を学生が生成したロールアウトに合わせることで最終層分布の整合性を高めるOn-Policy Transition Distillation (OPTD) を動機付けている。
3つのバックボーンと8つのベンチマークが数学、コーディング、命令にまたがって評価した結果、OPTDは二重ドメイン蒸留と3ドメイン蒸留の両方で最高または最良な性能を達成していることが示された。
3つのドメイン設定では、OPTDは、OPDの$\approx 75\%と対照的に、教師と学生の能力ギャップ全体の$\approx 90\%を回復する。
関連論文リスト
- Divergence-Routed On-Policy Distillation for Language Models [17.281764244522467]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルから学生が生成した軌道に沿って生徒に知識を伝達する。
このことは、どのポジションが生徒と教師の行動的ギャップに最も適しているか、そしてこれらのポジションで追加の監督が必要であるかという2つの疑問を提起する。
我々はDrOPD(Dirgence-Routed On-Policy Distillation)を提案する。
DrOPDはRKLの監督をあらゆる位置に維持し、JSのばらつきが高い位置において、選択的にKullback-Leibler(FKL)の分散を監督する。
論文 参考訳（メタデータ） (2026-10-14T04:39:35Z) - When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better [63.03571783102715]
単純な選択肢であるSemi-OPDは、精度とトレーニング効率の両方でOPDより優れていることがよく示される。
17組の教師と学生のペアで、Semi-OPDは最大で+13.6%の精度と11.4倍のトレーニングスピードアップでPDを上回った。
論文 参考訳（メタデータ） (2026-10-08T05:54:03Z) - Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。
マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。
マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
論文 参考訳（メタデータ） (2026-10-07T20:29:29Z) - Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。
決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。
このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。
本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
論文 参考訳（メタデータ） (2026-09-28T16:09:06Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。