論文の概要: CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts
- arxiv url: http://arxiv.org/abs/2609.10154v1
- Date: Wed, 09 Sep 2026 13:31:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.036163
- Title: CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts
- Title（参考訳）: CompassOPD: 家庭内親和性シフトによるクロスファミリックオン・ポリティクス蒸留
- Abstract要約: オンライン蒸留(OPD)は、学生が生み出す軌跡の高密度なトークンレベルの監督を提供する。
OPDの有効性は, トークン化器のアライメント後においても, クロスセッティングにおいて低下することがわかった。
我々は、標準のクロスファミリーOPDを一貫して上回るCompassOPDを提案する。
- 参考スコア（独自算出の注目度）: 22.477344425155177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) provides dense token-level supervision on student-generated trajectories. Although OPD performs strongly when teacher and student belong to the same model family, we find that its effectiveness degrades in cross-family settings even after tokenizer alignment, with substantially stronger external teachers offering little additional improvement. To understand this disconnect, we decompose the cross-family OPD signal into two components: an offset between a low-capability teacher-family reference and the student, and the within-family log-likelihood shift from that reference to the strong teacher. Standard OPD transfers both components together, allowing the offset to dominate the update direction and obscure the changes associated with teacher capability improvements. We propose CompassOPD, which removes this offset and transfers the within-family shift, while a frozen student reference anchors updates to the student's initial policy. Thus, both teacher-side and student-side changes are measured within their respective model families. Experiments across three student families and multiple teacher families show that CompassOPD consistently outperforms standard cross-family OPD, improving average reasoning accuracy by up to 5.50 points. For an MoE teacher, we further construct the reference directly from the teacher checkpoint by reducing expert activation, eliminating the need for a separate reference checkpoint while retaining a 3.43-point gain over OPD.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す軌跡の高密度なトークンレベルの監督を提供する。
OPDは,教師と学生が同じモデルファミリーに属している場合に強く機能するが,トークンライザアライメント後においても,その有効性はクロスファミリー設定で低下し,外部教師が大幅に向上することはほとんどない。
この切断を理解するために,クロスファミリーOPD信号は,低能力の教師-家族参照と生徒間のオフセットと,強い教師参照から強い教師への家族内ログライクなシフトの2つの構成要素に分解する。
標準PDは、両方のコンポーネントを一緒に転送し、オフセットが更新方向を支配し、教師の能力改善に関連する変更を曖昧にする。
本稿では,このオフセットを削除し,家族内シフトを転送するCompassOPDを提案する。
このように、教師側と生徒側の両方の変化が、それぞれのモデルファミリー内で測定される。
3つの学生家族と複数の教師家族を対象とした実験では、CompassOPDは標準のクロスファミリーPDより一貫して優れており、平均推論精度は5.50ポイント向上している。
MoE教師は、専門家のアクティベーションを低減し、PDよりも3.43ポイントのゲインを維持しながら、個別の基準チェックポイントを不要にすることで、教師のチェックポイントから直接参照を構築する。
関連論文リスト
- Look Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy Distillation [18.893534946567218]
オンライン蒸留(On-policy distillation、OPD)は、学生が訪れた州を教師が監督する制度である。
本稿では,教師の短い橋渡しを行うFutureBridge-OPD(FTB)を提案する。
Qwen3-32Bの主教師がQwen3-1.7Bの学生設定で、FTBはバニラOPDとTCODを平均16.6点、7.6点で上回っている。
論文 参考訳（メタデータ） (2026-08-03T09:25:42Z) - Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models [23.269235615604245]
We introduced Lightning OPD 2.0 with cross-fitted style residualization。
数学的推論とコード生成のベンチマークを通じて、Lightning OPD 2.0は、教師間の設定でLightning OPDを一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-30T16:17:15Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Reward-Gated On-Policy Distillation [58.187458236302575]
オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。
RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。
RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
論文 参考訳（メタデータ） (2026-07-04T21:51:22Z) - SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling [22.832360652920332]
オンライン蒸留 (On-policy distillation, OPD) は、生徒を自身の軌道で訓練し、より強い教師から集中的な指導を受ける。
本稿では,教師の信頼信号として二分検証器を用いるサインゲートオンポリシィ蒸留(SG-OPD)を提案する。
競合レベルの数学的推論ベンチマークの実験では、SG-OPDは標準PDよりも一貫して優れていた。
論文 参考訳（メタデータ） (2026-06-08T10:11:58Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。