論文の概要: PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation
- arxiv url: http://arxiv.org/abs/2608.08726v1
- Date: Sun, 09 Aug 2026 14:20:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.925004
- Title: PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation
- Title（参考訳）: PAST: オンライン自己蒸留のための学生軌道からの予備的適応
- Abstract要約: On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。
PAST(Privleged Adaptation from Students Trajectories)を紹介する。
PASTは、学生の蒸留プレフィックスをそのまま残しながら、各学生軌跡をOPSD教師に追加の特権情報として扱う。
- 参考スコア（独自算出の注目度）: 1.1440940588722308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy self-distillation (OPSD) uses a privileged teacher to supervise a reasoning model on prefixes sampled from its own rollouts. Yet each rollout also reveals how the student's response unfolds and whether it succeeds, student-specific hindsight that standard OPSD does not use to form the teacher. We introduce Privileged Adaptation from Student Trajectories (PAST), which treats each completed student trajectory as additional privileged information for the OPSD teacher while leaving the student's distillation prefixes unchanged. PAST preserves the student's next-token distribution on correct trajectories and uses failed trajectories to adapt the teacher toward verified success under student-proximity regularization. We characterize what such a trajectory-conditioned teacher can transfer to a prefix-only student. Forward-KL distillation projects the teacher distributions to their conditional arithmetic mean given the prefix. This projection separates trajectory-specific variation that remains privileged from the mean policy shift available to the student. For correct trajectories, the unclipped population objective also has the frozen student as an ideal distributional fixed point. Across three mathematical reasoning benchmarks, PAST improves the Avg@12 macro average over Vanilla OPSD by 5.6 percentage points. A $2\times2$ factorial study shows gains from both complete-trajectory access and teacher adaptation, while trajectory removal and shuffling confirm that the adapted teacher uses the matching hindsight context.
- Abstract（参考訳）: On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。
しかし、各ロールアウトはまた、学生の反応がどのように展開され、それが成功するかどうか、標準OPSDが教師を形成するのに使われていない学生固有の後見も明らかにする。
本稿では, 学生軌跡の予備適応(Privleged Adaptation from Student Trajectories, PAST)を導入し, 学生の蒸留プレフィックスをそのまま残しながら, 各生徒軌跡をOPSD教師の特権情報として扱う。
PASTは、学生の正しい軌跡の次点分布を保存し、失敗軌跡を用いて、学生の確率正規化の下で、教師を成功に適応させる。
このような軌跡条件の教師がプレフィックスのみの生徒に移行できることを特徴付ける。
フォワード-KL蒸留は、プレフィックスが与えられた条件算術平均に教師の分布を投影する。
このプロジェクションは、学生が利用できる平均的なポリシーシフトから特権的であり続ける軌跡固有のバリエーションを分離する。
正しい軌道に対して、未開の人口目標もまた、凍結した学生を理想的な分布固定点として持つ。
3つの数学的推論ベンチマークで、PASTはVanilla OPSDよりもAvg@12マクロ平均を5.6ポイント改善した。
$2\times 2$ factorial studyは、完全な軌跡アクセスと教師適応の両方から得られることを示し、一方、軌跡除去とシャッフルは、適応された教師が一致した後ろ向きの文脈を使用することを確認した。
関連論文リスト
- Distillation as Probability Transport: Routed On-Policy Distillation [29.500694918719166]
RouteOPD (Routed On-Policy Distillation) は、地元の教師を分解する。
教師の4つの設定と4つの数学的推論のベンチマークによる実験は、RouteOPDがサンプル化された逆KL OPDより一貫して優れていることを示した。
論文 参考訳（メタデータ） (2026-09-08T07:07:39Z) - VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation [19.198000863807316]
オンラインの自己蒸留は、特権のある教師から密集したトークンレベルの監督を用いて、問題のみの学生を自身のロールアウトで訓練することで推論を改善する。
標準OPSDは、教師の配当を学生のロールアウトに沿った固定的ターゲットとして扱い、生徒の%のみを更新するが、特権条件付けは教師が常に問題のみの推論に対して最も適切なターゲットを提供することを保証しない。
本稿では,教師を学生分布に適応させるために,結果検証ロールアウトを使用しながら,標準のOPSD学生更新を保存するVerifier-Informed Students-to-Teacher Adaptation (VISTA)を紹介する。
論文 参考訳（メタデータ） (2026-08-28T13:10:34Z) - When Teacher Guidance Misleads: Reward-Aligned On-Policy Distillation [21.86522736658343]
本稿では, 教師指導の誤りを軽減するために, Reward-Aligned On-Policy Distillation (RA-OPD)を提案する。
RA-OPDは、さらなる計算コストを必要とせずに、より信頼性の高い軌道を選択し、生徒モデルの性能を向上させる。
我々は,Qwen3ファミリーとDeepSeek-R1ファミリーのモデルを用いて,数学とコードベンチマークのRA-OPDを評価する。
論文 参考訳（メタデータ） (2026-08-28T06:05:50Z) - Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。
データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
論文 参考訳（メタデータ） (2026-08-07T04:47:38Z) - Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models [23.382646724389545]
オンライン蒸留(OPD)は、現在の学生政策の軌跡をサンプリングし、学生と教師の次点分布のトークンレベルのばらつきを最小限にする。
本稿では,ローカルで実現可能な教師の訂正のみを蒸留するemphFisher-Projected On-Policy Distillation (FP-OPD)を提案する。
論文 参考訳（メタデータ） (2026-08-02T14:16:14Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。
P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。
複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
論文 参考訳（メタデータ） (2026-01-15T04:40:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。