論文の概要: On the Off-Policy Teacher in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.38360v1
• Date: Tue, 29 Sep 2026 18:22:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.572946
• Title: On the Off-Policy Teacher in On-Policy Distillation
• Title（参考訳）: オン・ポリシィ蒸留におけるオフ・ポリシィ・教師について
• Abstract要約: SCOUT(Student-Conditioned Updates of the Teacher)は、教師を学生が作成したプレフィックスに適応させる学習フレームワークである。 SCOUTは,学生が生成した接頭辞から継続する教師の能力を向上し,学生条件の教師適応の意図したメカニズムを支持する。
• 参考スコア（独自算出の注目度）: 18.925850684279197
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: On-policy distillation (OPD) has recently emerged as a promising post-training paradigm in which the student learns from trajectories generated by its own policy under dense teacher supervision. However, OPD introduces a fundamental asymmetry: although the sampled trajectories are on-policy for the student, they are off-policy for the teacher. The teacher is typically optimized to continue from prefixes generated by its own policy, but during OPD it must instead supervise prefixes generated by the student. Empirically, we find that its continuation performance degrades as these prefixes grow longer. To address this issue, we propose Student-COnditioned Updates of the Teacher (SCOUT), a co-training framework that adapts the teacher to student-generated prefixes. Alongside standard OPD updates, SCOUT periodically optimizes the teacher's conditional ability using reinforcement learning with verifiable rewards, where the teacher generates continuations from student prefixes and learns from outcome rewards. Controlled experiments show that SCOUT improves the teacher's ability to continue from student-generated prefixes, supporting the intended mechanism of student-conditioned teacher adaptation. Across multiple teacher--student configurations, model scales, and reasoning domains, SCOUT also consistently improves the effectiveness of on-policy distillation.
• Abstract（参考訳）: オンライン蒸留(OPD)は,教師の密接な監督の下で,生徒が自らの方針で生み出す軌道から学習する,有望なポストトレーニングパラダイムとして最近登場した。 しかし、OPDは基本的な非対称性を導入しており、サンプルの軌跡は生徒の政治ではあるものの、教師の政治とは無関係である。 教師は通常、独自のポリシーで生成された接頭辞から継続するように最適化されているが、OPDの間は、代わりに生徒が生成した接頭辞を監督する必要がある。 実験により,これらの接頭辞が長くなるにつれて継続性能が低下することが判明した。 この問題に対処するために,教師が生成した接頭辞に適応する協調学習フレームワークSCOUTを提案する。 SCOUTは、標準PD更新と並行して、教師が学生のプレフィックスから継続を生成し、成果報酬から学習する、検証可能な報酬を伴う強化学習を用いて、定期的に教師の条件能力を最適化する。 制御された実験により、SCOUTは教師が生徒が生成した接頭辞から継続する能力を向上し、学生条件の教師適応の意図したメカニズムを支持することが示されている。 複数の教師構成、モデルスケール、推論領域にまたがってSCOUTは、オンライン蒸留の有効性を一貫して改善している。

関連論文リスト

• Is Better Teacher Supervision Enough? Unlocking Student-side Learning in Multimodal On-Policy Distillation [38.496745535296945]
  オンライン蒸留(OPD)は、学生自身の軌道上の教師からトークンレベルの監督を提供することにより、推論を改善する。 S-OPDは,学生の知覚学習を明示的に強化するシンプルなマルチモーダルオンライン蒸留フレームワークである。 我々のメソッドは既存のOPDフレームワークにシームレスにプラグインすることができ、追加のデータアノテーション、モデルパラメータ、推論操作を必要としない。
  論文  参考訳（メタデータ） (2026-09-30T06:55:48Z)
• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation [41.854144563456046]
  弱強一般化は、より弱いスーパーバイザーからより強力なモデルを学び、それらを上回ることができるかどうかを問う。 本稿では,教師の政策シフトを評価し,学生の検証者主導の政策勾配を増幅するOn-Policy Reverse Distillationを紹介する。 連続したモデル転送とマルチティーチンガー蒸留の両方において、OPRDは既存のRLや蒸留手法よりも学生更新が少なく、極めて高い性能を達成している。
  論文  参考訳（メタデータ） (2026-09-08T14:26:35Z)
• Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
  不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。 本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-06T07:08:41Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training [11.42123432311386]
  学習者による文脈における有界教師の継続は、一致した予算における純粋な行動的クローンよりも改善されることを示す。 以上の結果から,学習者によって引き起こされる文脈に置かれる教師のステップは,より長くあるいはより厳格に調整された教師の完成よりも,よりコスト効率の高い監督アロケーションとなることが示唆された。
  論文  参考訳（メタデータ） (2026-07-06T01:02:30Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。