論文の概要: Divergence-Routed On-Policy Distillation for Language Models

• arxiv url: http://arxiv.org/abs/2610.19572v1
• Date: Wed, 14 Oct 2026 04:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.961907
• Title: Divergence-Routed On-Policy Distillation for Language Models
• Title（参考訳）: 言語モデルに対する多変量制御オンポリシィ蒸留法
• Abstract要約: オンライン蒸留(On-policy distillation、OPD)は、教師モデルから学生が生成した軌道に沿って生徒に知識を伝達する。 このことは、どのポジションが生徒と教師の行動的ギャップに最も適しているか、そしてこれらのポジションで追加の監督が必要であるかという2つの疑問を提起する。 我々はDrOPD(Dirgence-Routed On-Policy Distillation)を提案する。 DrOPDはRKLの監督をあらゆる位置に維持し、JSのばらつきが高い位置において、選択的にKullback-Leibler(FKL)の分散を監督する。
• 参考スコア（独自算出の注目度）: 17.281764244522467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) transfers knowledge from a teacher model to a student along student-generated trajectories, typically by minimizing the reverse Kullback-Leibler (RKL) divergence. However, RKL can provide weak corrective signals for teacher-supported tokens to which the student assigns very low probability. This raises two questions: which positions are most consequential for the behavioral gap between the student and teacher, and what additional supervision is needed at these positions? Through cross-sampling, we find that divergence-based routing more effectively pinpoints positions contributing to the teacher-student performance gap than entropy-based routing. Further analysis reveals teacher-mode under-coverage at high Jensen-Shannon (JS) divergence positions, where standard OPD increases the large teacher-student probability gaps. Motivated by these findings, we propose Divergence-Routed On-Policy Distillation (DrOPD). DrOPD retains RKL supervision at all positions and selectively adds forward Kullback-Leibler (FKL) divergence supervision at positions with high JS divergence. Experiments across six math benchmarks show that DrOPD improves over standard OPD and entropy-based routing. DrOPD also reduces severe under-coverage cases by 37.9 percent relative to OPD, supporting targeted FKL as an effective complement to OPD.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、教師モデルから学生が生み出す軌道に沿った学生に知識を伝達する。 しかし、RKLは教師が支援するトークンに対して、非常に低い確率を割り当てる弱い補正信号を提供することができる。 これは、学生と教師の行動的ギャップに最も適している位置と、これらの位置において追加の監督が必要かという2つの疑問を提起する。 クロスサンプリングにより、エントロピーに基づくルーティングよりも、教師と学生のパフォーマンスギャップに寄与する位置を効果的にピンポイント化する。 さらに分析した結果,Jensen-Shannon (JS) 分岐位置における教師モードのアンダーカバーが明らかになり,標準OPDは教師モードの確率ギャップを大きくする。 そこで本研究ではDrOPD(Dirgence-Routed On-Policy Distillation)を提案する。 DrOPDはRKLの監督をあらゆる位置に維持し、JSのばらつきが高い位置において、選択的にKullback-Leibler(FKL)の分散を監督する。 6つのベンチマークによる実験により、DrOPDは標準的なOPDとエントロピーベースのルーティングよりも改善されている。 また、DrOPDは重度の下層疾患をOPDと比較して37.9%減らし、標的FKLをOPDの効果的な補体として支持している。

関連論文リスト

• Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。 マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。 マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
  論文  参考訳（メタデータ） (2026-10-07T20:29:29Z)
• Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers [14.928358057434394]
  強化学習は理科教師を著しく改善させることができるが、教師がより小さな政治学の学生を監督する場合にその改善が残るかは定かではない。 本研究では, GRPO前後の教師系統, 複数の学生尺度, 直接GRPO, およびいくつかのオンライン蒸留目標を比較して, 数学的推論においてこの問題を考察する。
  論文  参考訳（メタデータ） (2026-10-05T08:26:20Z)
• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• Distillation as Probability Transport: Routed On-Policy Distillation [29.500694918719166]
  RouteOPD (Routed On-Policy Distillation) は、地元の教師を分解する。 教師の4つの設定と4つの数学的推論のベンチマークによる実験は、RouteOPDがサンプル化された逆KL OPDより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2026-09-08T07:07:39Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。