論文の概要: No Pain, More Gain: Iterative Merging for Effective Multi-Teacher On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.34745v1
- Date: Mon, 28 Sep 2026 09:37:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 03:11:13.067259
- Title: No Pain, More Gain: Iterative Merging for Effective Multi-Teacher On-Policy Distillation
- Title（参考訳）: No Pain, More Gain: Iterative Merging for effective Multi-Teacher On-Policy Distillation
- Abstract要約: マルチテラー・オン・ポリシー蒸留(MOPD)は、独自に開発されたドメイン教師を1人の学生に組み合わせ、学生が生成したサンプルの予測を蒸留する。
本研究では,教師が参照モデルを共有しながら異なる訓練手順を実践する環境について検討し,MOPDが教師の能力回復に苦慮していることを見出した。
我々は,MOPD (Iterative Merging for MOPD) を提案する。
- 参考スコア（独自算出の注目度）: 16.63198595022778
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-teacher on-policy distillation (MOPD) combines independently developed domain teachers into a single student by distilling their predictions on student-generated samples. We study a setting where teachers share a reference model but undergo different post-training procedures, and find that MOPD can struggle to recover some teacher capabilities. Because distillation occurs on student-generated prefixes, the student initialization can strongly affect subsequent recovery. However, initial benchmark performance is not a reliable predictor of a good MOPD initialization. For example, merge initialization can start below SFT warm-up yet finish higher after MOPD. We further find that effective merging depends on both the relative teacher contributions and the overall merge scale, with some strong configurations lying outside the simplex of convex parameter averaging. Thus, selecting a good merge initialization requires evaluating not only its immediate performance but also the learning it enables under MOPD, making one-shot coefficient search difficult. We propose Iterative Merging for MOPD (IM-MOPD), which starts from a uniform merge and progressively adds task-vector increments for under-recovered domains during distillation. In a 5-domain setting, IM-MOPD achieves higher average normalized recovery than MOPD with either uniform merge initialization or SFT warm-up, showing that effective teacher contributions can be determined progressively during training.
- Abstract（参考訳）: マルチテラー・オン・ポリシー蒸留(MOPD)は、独自に開発されたドメイン教師を1人の学生に組み合わせ、学生が生成したサンプルの予測を蒸留する。
本研究では,教師が参照モデルを共有しながら異なる訓練手順を実践する環境について検討し,MOPDが教師の能力回復に苦慮していることを見出した。
蒸留は学生が生成した接頭辞で起こるため、学生の初期化はその後の回復に強く影響を与える。
しかし、初期ベンチマーク性能は、優れたMOPD初期化の信頼できる予測器ではない。
例えば、マージ初期化は、SFTウォームアップ以下から開始できるが、MOPD後より高く終了する。
さらに, 実効的なマージは, 相対的な教師の貢献と総合マージ尺度の両方に依存し, コンベックスパラメータ平均化の単純な外部に強い構成があることがわかった。
したがって、良好なマージ初期化を選択するには、その即時性能だけでなく、MOPD下での学習も評価する必要があるため、一発係数探索が困難になる。
そこで本研究では,MOPD (Iterative Merging for MOPD) を提案する。
5ドメイン設定では、IM-MOPDは、統一マージ初期化またはSFTウォームアップのいずれかでMOPDよりも高い平均正規化回復を達成する。
関連論文リスト
- Distillation of Foundation Models for Time-dependent PDEs [21.455872116756492]
本研究では,事前学習した基礎モデルの予測能力を,コンパクトで効率的な学生に伝達する知識蒸留フレームワークを提案する。
微調整された教師から始めて、TREXは教師のロールアウトを通じて長い合成軌跡を生成することによって、下流の限られたデータを増やす。
結果として得られた学生は、数桁のパラメータ数を減らしながら、教師の精度を一致または超えることができる。
論文 参考訳（メタデータ） (2026-08-12T11:24:08Z) - Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。
データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
論文 参考訳（メタデータ） (2026-08-07T04:47:38Z) - DistillAlign: Coordinating Mode Covering and Mode Seeking in Autoregressive Video Distillation [29.992105358526715]
本稿では,学生と教師の分布の精度とカバレッジを計測する分布評価プロトコルを提案する。
本稿では, DMD のモード探索目的と Consistency Distillation に基づくモード被覆制約を組み合わせた共同蒸留法を提案する。
論文 参考訳（メタデータ） (2026-07-29T11:58:47Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Fast and Effective On-policy Distillation from Reasoning Prefixes [5.0200371345178]
オンライン蒸留(OPD)は学生モデルの軌跡を抽出し、トークンレベルで教師と監督する。
そこで本研究では, 学生生成出力のプレフィックスのみに蒸留目標を適用し, 蒸留の早期に各サンプリングを終了する, 簡易かつ効果的なPDの修正を提案する。
AI-for-Mathベンチマークとアウト・オブ・ベンチマークの実験では、オンラインプレフィックス蒸留はフルPDのパフォーマンスと一致し、FLOPのトレーニングを2倍-47倍削減した。
論文 参考訳（メタデータ） (2026-02-16T23:28:54Z) - Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。
UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2025-04-19T14:08:56Z) - Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。
本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。
本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
論文 参考訳（メタデータ） (2025-02-26T20:50:11Z) - Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation [84.38105530043741]
本稿では, 学生の蒸留を教員の蒸留と整合させて, 蒸留に先立って行うワームアップ蒸留法を提案する。
7つのベンチマークの実験は、ウォームアップ・ディスティルが蒸留に適したウォームアップの学生を提供することを示した。
論文 参考訳（メタデータ） (2025-02-17T12:58:12Z) - Matching Guided Distillation [11.499838489987624]
特徴蒸留はより小型の学生モデルの性能向上に有効な方法である。
教師と学生の中間的特徴の間には意味的特徴構造にギャップがある。
これらの問題を解決するために, MGD (Matching Guided Distillation) を効率的かつパラメータフリーな方法として提示する。
論文 参考訳（メタデータ） (2020-08-23T04:57:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。