論文の概要: Learning Dynamics of On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2611.08016v1
- Date: Thu, 05 Nov 2026 13:38:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.522792
- Title: Learning Dynamics of On-Policy Distillation
- Title（参考訳）: オンライン蒸留の学習ダイナミクス
- Abstract要約: オンライン蒸留(OPD)は言語モデルポストトレーニングの重要なパラダイムとして浮上している。
我々はOPDの学習力学の力学解析を行う。
オフライン蒸留は, 即時留置精度を著しく向上させることなく, 学生をOPDに適応できることを示す。
- 参考スコア（独自算出の注目度）: 35.65093673893812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) is emerging as an important paradigm for language-model post-training, combining dense teacher supervision with training on student-generated trajectories. This creates a feedback loop where each update changes the student and thereby the training distribution that generates subsequent updates. Yet, how this feedback shapes learning and generalization remains poorly understood. We conduct a mechanistic analysis of OPD's learning dynamics, distinguishing the two feedback loop stages: conversion of the distillation signal into parameter updates, and broadcast through which these updates change predictions across prefixes and reshape the rollout distribution. This framework helps us understand both limited student responsiveness despite substantial teacher-student disagreement, and degeneration when updates that improve local teacher agreement also increase the probability of unsuccessful continuations, exposing the student to unreliable supervision in subsequent rollouts. Finally, we show that offline distillation can prepare a student for OPD without significantly improving immediate held-out accuracy. While OPD alone may degrade generation, it can yield substantial accuracy gains after sufficient offline preparation. Together, our results connect teacher supervision, student geometry, and the evolving rollout distribution in determining the learning dynamics of OPD and its effects on downstream performance.
- Abstract（参考訳）: オンライン蒸留(OPD)は、高密度教師監督と学生が生み出す軌跡の訓練を組み合わせることで、言語モデルポストトレーニングの重要なパラダイムとして浮上している。
これによりフィードバックループが作成され、各更新で生徒が変更され、その後の更新を生成するトレーニングディストリビューションが生成される。
しかし、このフィードバックがどのように学習や一般化を形作るのかはいまだに理解されていない。
OPDの学習力学の力学解析を行い、蒸留信号のパラメータ更新への変換と、これらの更新がプレフィックス間で予測を変更し、ロールアウト分布を再生成するブロードキャストという、2つのフィードバックループステージを区別する。
この枠組みは,教師と教師の意見の相違にもかかわらず,限られた学生の反応性を理解するのに有効であり,また,教師の合意を改善する更新によって継続が失敗する可能性も増大し,その後のロールアウトにおいて学生を信頼できない監督に晒すことになる。
最後に, オフライン蒸留は, 即時留置精度を著しく向上させることなく, 学生をOPDに組み込むことができることを示す。
OPDだけでは生成が劣化する可能性があるが、十分なオフライン準備後、かなりの精度が向上する可能性がある。
本研究の結果は,教師の指導,学生の幾何学,およびOPDの学習ダイナミクスの決定におけるロールアウト分布と,その下流のパフォーマンスへの影響を関連づけるものである。
関連論文リスト
- OPDArena: Understanding Learning and Forgetting in On-Policy Distillation [55.0530106449001]
教師付き微調整(SFT)、強化学習(RLVR)、オンライン蒸留(OPD)を5つの事前訓練モデルと多様な教師源で比較した。
RLVR教育を受けた教師の生徒は、事前能力を維持しながら目標課題を改善する一方、SFT訓練を受けた教師の生徒は能力損失が大きい。
制御された教師比較は、教師がポストトレーニングを通じて取得するタスク固有の嗜好が、生徒のアップデートをドメイン内でより集中させることを示している。
論文 参考訳（メタデータ） (2026-10-19T01:51:24Z) - Stochastic Teacher Intervention for Agentic On-Policy Distillation [54.79076551646515]
オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。
マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。
マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
論文 参考訳（メタデータ） (2026-10-07T20:29:29Z) - What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。
生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。
我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
論文 参考訳（メタデータ） (2026-09-27T11:08:31Z) - Trapped by Their Own Rollouts: Understanding Aggregation--Rollout Feedback in Federated On-Policy Distillation [21.610540680175294]
オンライン蒸留(OPD)は言語モデル適応への有望なアプローチである。
フェデレーションOPDについて検討し、学習速度の感度によってかなりのコラボレーションの利得が明らかになることを示した。
本稿では,FedAvg更新の規模をクライアントワイド予測変更制約に適応させるため,現在のトラジェクトリに対する教師のフィードバックを再利用するFedTOPSを提案する。
論文 参考訳（メタデータ） (2026-09-26T12:48:43Z) - Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。
本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
論文 参考訳（メタデータ） (2026-09-06T07:08:41Z) - Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。
ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。
OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
論文 参考訳（メタデータ） (2026-07-06T07:56:53Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Learning from Language Feedback via Variational Policy Distillation [47.05700353631563]
変分ポリシー蒸留(VPD)は、言語フィードバックからの学習を変分期待最大化問題として形式化するフレームワークである。
VPDは標準のRLVRと既存の自己蒸留ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-14T17:27:34Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。