論文の概要: SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.36601v1
- Date: Tue, 29 Sep 2026 03:18:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.146932
- Title: SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation
- Title（参考訳）: 佐々木:最大結合型教師によるオンライン蒸留の監督
- Abstract要約: KL制約の教師誘導ロールアウトと最大結合を組み合わせたSAKI(Supervision Allocation with KL-correction Interpolation)を導入する。
承認された位置は、サンプル制約された逆KLの監督を維持し、修正された位置は、教師の最も高い確率トークンを直接監督する。
最大結合下では、補正確率は正確にはTV(p_t, q_t)であり、同じ信頼領域半径がロールアウト偏差と上界介入と特殊超音速を制御する。
- 参考スコア（独自算出の注目度）: 41.91096609686731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) reduces train-test state mismatch by training a student on its own generated trajectories, but weak students may visit teacher-misaligned prefixes where supervision is less representative. We introduce SAKI (Supervision Allocation with KL-constrained Interpolation), which combines a KL-constrained teacher-guided rollout with maximal coupling and reuses realized accept/correction events to route token-level supervision. Accepted positions retain sampled-token reverse-KL supervision, while correction positions receive direct supervision on the teacher's highest-probability token. Under maximal coupling, the correction probability is exactly TV(p_t, q_t), so the same trust-region radius controls rollout deviation and upper-bounds intervention and specialized-supervision frequency. We further implement an engine-resident speculative verifier that preserves the exact-q trajectory distribution and coupling semantics while improving matched-workload rollout throughput by 4.22x. Across seven mathematical reasoning benchmarks, SAKI improves the matched teacher-guided baseline in Mean@8 and Pass@8 for both 1.7B and 0.6B students. Placement controls and fixed-prefix analysis further support correction-triggered routing as a conflict-adaptive supervision signal.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生が自力で生成した軌道で訓練することで、列車の試験状態のミスマッチを減らすが、弱い学生は監督があまり代表的でない教師のミスマッチした接頭辞を訪問することができる。
我々は,KL制約の教師誘導型ロールアウトと最大結合を組み合わせたSAKI(Supervision Allocation with KL-Constrained Interpolation)を導入する。
承認された位置はサンプル・トケン・リバース・KLの監督を維持し、修正された位置は教師の最も高い確率のトークンを直接監督する。
最大結合下では、補正確率は正確にはTV(p_t, q_t)であり、同じ信頼領域半径がロールアウト偏差と上界介入と特殊超音速を制御する。
さらに,一致する作業負荷のロールアウトスループットを4.22倍改善しつつ,正確なq軌道分布と結合意味を保ちながら,エンジン駐在型投機的検証器を実装した。
7つの数学的推論ベンチマークにおいて、SAKIは1.7Bと0.6Bの学生に対してMean@8とPass@8のマッチした教師誘導ベースラインを改善している。
配置制御と固定プレフィックス解析は、さらにコンフリクト適応的な監視信号として修正トリガールーティングをサポートする。
関連論文リスト
- Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation [37.73879161170101]
オンライン蒸留(OPD)は、学生自身のロールアウトにおいて、凍結した教師から密集したトークンレベルの監督を提供することによって、ポストトレーニングを加速する。
Vanilla OPDは、教師が各プロンプトに対して信頼できるかどうかを確認することなく、この監督をプロンプト全体に均一に適用する。
本稿では,教師の信頼性を高密度監督が認められる前に早期に検証すべきという原則に基づくTGOPD(Teacher-Gated On-Policy Distillation)を紹介する。
論文 参考訳（メタデータ） (2026-09-02T17:54:09Z) - CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。
GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2026-09-02T10:11:59Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。
SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。
エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
論文 参考訳（メタデータ） (2026-06-17T23:58:14Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting [17.504616835765617]
両経路適応型学習フレームワークを提案する。
SCOPEは、Avg@32で11.42%、Pass@32で7.30%の平均相対的な改善を実現している。
論文 参考訳（メタデータ） (2026-04-12T15:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。