論文の概要: Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2605.13643v1
• Date: Wed, 13 May 2026 15:05:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.125777
• Title: Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation
• Title（参考訳）: 接尾辞・接尾辞・接尾辞・接尾辞・接尾辞・接尾辞・接尾辞
• Authors: Kaiyuan Liu, Ziyuan Zhuang, Yang Bai, Bing Wang, Rongxiang Weng, Jieping Ye,
• Abstract要約: オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 49.117085054884676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student model on its own rollouts using dense feedback from a stronger teacher. Prior literature suggests that, provided teacher feedback is available, supervising the full sequence of response tokens should monotonically improve performance. However, we demonstrate that this assumption sometimes fails to hold in strong-to-weak OPD settings. While later segments of a generated trajectory may still exhibit a non-zero teacher-student advantage, they frequently lack the local contrast that makes dense feedback effective for prioritizing student learning. We term this failure mode local teachability collapse. The resulting principle is straightforward: supervision should concentrate on trajectory regions where the teacher's feedback remains discriminative, rather than uniformly covering the entire response. We operationalize this principle through a trajectory-specific release rule. This rule measures the teacher's margin over the student's top-$K$ candidate set, aggregates this margin across NLTK-tokenized sentence segments, and truncates dense OPD supervision upon detecting a BIC-style downward change point. Experimental results across strong-to-weak distillation tasks using the Qwen3 model family indicate that this release rule consistently outperforms standard full-trajectory OPD across five in-domain benchmarks at various student scales. Furthermore, compared to baseline distillation methods, our approach better preserves model capabilities on out-of-domain task. These results suggest that effective strong-to-weak OPD requires evaluating not only the availability of teacher guidance but also its local utility, ensuring that the generated feedback remains teachable.
• Abstract（参考訳）: オンライン蒸留(OPD)は、より強い教師からの強いフィードバックを用いて、学生モデルを自身のロールアウトで訓練する。 以前の文献では、教師のフィードバックが得られ、レスポンストークンの完全なシーケンスを監督することは、パフォーマンスを単調に改善することを示唆している。 しかし、この仮定は、時に強弱なOPD設定で保たないことを示す。 後続のコースのセグメントは、教師と学生の非教師の優位性を示す可能性があるが、学生の学習の優先順位付けに有効な密着したフィードバックを局所的なコントラストが欠如していることが多い。 この障害モードを局所的な教育可能性の崩壊と呼ぶ。 教師の反応全体を均一にカバーするのではなく、教師のフィードバックが差別的のままである軌跡領域に集中すべきである。 我々は、この原則を軌跡固有のリリースルールで運用する。 このルールは、生徒の上位$Kの候補者に対する教師のマージンを測定し、このマージンをNLTK対応の文章セグメントに集約し、BICスタイルの下向きの変化点を検出することによって、密集したOPDの監督を断ち切る。 Qwen3モデルファミリーを用いた強弱蒸留タスクに対する実験結果から、このリリースルールは、様々な学生スケールで5つのドメイン内のベンチマークで標準フルトラジェクトリPDを上回っていることが示された。 さらに, 本手法は, ベースライン蒸留法と比較して, ドメイン外タスクにおけるモデル機能をよりよく保存する。 これらの結果から,効果的な強弱OPDは教師指導の利用可能性だけでなく,その地域的有用性も評価する必要があることが示唆された。

関連論文リスト

• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
  既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。 textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T15:31:50Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。