論文の概要: P$^2$-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors

• arxiv url: http://arxiv.org/abs/2611.03953v2
• Date: Thu, 05 Nov 2026 07:14:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.345765
• Title: P$^2$-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors
• Title（参考訳）: P$^2$-MOPD:パラメータ優先によるマルチ教師のオンライン蒸留の促進
• Abstract要約: P$2$-MOPDは生徒のトレーニングを継続するので、専門家はパラメータの優先順位として振る舞う。 トレーニング終了後、我々の1.7Bモデルは平均回復率94.7%に達し、MOPDは80.9%に達した。
• 参考スコア（独自算出の注目度）: 36.78223092334938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-teacher on-policy distillation consolidates expert capabilities by supervising student-generated trajectories, whereas task arithmetic offers a training-free alternative through linear parameter combinations. We view the linear combination of student and expert parameters as a single differentiable model and propose P$^2$-MOPD, which jointly optimizes the mixing coefficients and the student weights under the same on-policy distillation objective. Unlike task arithmetic, which stays within the span of the frozen student and expert parameters for any choice of merging coefficients, P$^2$-MOPD keeps the student trainable, so the experts act as parameter priors without confining it to this span. Across four domains at 1.7B and 4B scales, P$^2$-MOPD achieves faster and more balanced recovery than MOPD from the same initialization, surpassing its final average recovery in half the training steps. At the end of training, our 1.7B model reaches 94.7% average recovery, versus 80.9% for MOPD.
• Abstract（参考訳）: マルチ教師のオンライン蒸留は、学生が生成した軌跡を監督することによって専門家の能力を強化し、一方、タスク算術は線形パラメータの組み合わせによる訓練なしの代替手段を提供する。 我々は, 学生と専門家の線形結合を単一微分可能モデルとみなし, P$^2$-MOPDを提案する。 P$^2$-MOPDは、凍結した学生の範囲内に留まるタスク算術と異なり、P$^2$-MOPDは生徒を訓練しやすくするので、専門家はそれをこの範囲に詰め込むことなくパラメータの先行として振る舞う。 1.7Bと4Bの4つの領域で、P$^2$-MOPDは同じ初期化からMOPDよりも高速でバランスの取れた回復を達成する。 トレーニング終了後、我々の1.7Bモデルは平均回復率94.7%に達し、MOPDは80.9%に達した。

関連論文リスト

• Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution [48.87945011066967]
  本研究では, 動的経路混合(MoE)モデルのポストトレーニングについて検討し, コンソリデーション効率を維持しつつ, 独立的に最適化されたスペシャリストの統合に着目した。 提案手法は,教師が選択したTop-$K$サポートと教師の損失正規化とクリッピングを併用した校正型多目的蒸留(C-MOPD)と,ポストキャパシティ境界幅ディスパッチ,終局リプレイ,非同期ロールアウト-トレーニングオーバーラップを用いた実行パスを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-10-29T11:52:20Z)
• Rethinking Self-Distillation for Multi-Teacher Capability Merging [31.44956665205252]
  最近の傾向は、マルチテラーオンポリケーション(MOPD)が従来のオフポリケーション法より優れていることを示唆している。 MOPDによって引き起こされる推論と環境相互作用のコストが高いにもかかわらず、報告された精度向上の多くは、特定のトレーニング設計の選択によるものである。 トレーニングなしの代替手段として、単純な重み付け手法が、マージ時間の数分で専門家の能力を回復できることがわかった。
  論文  参考訳（メタデータ） (2026-10-03T03:57:33Z)
• No Pain, More Gain: Iterative Merging for Effective Multi-Teacher On-Policy Distillation [16.63198595022778]
  マルチテラー・オン・ポリシー蒸留(MOPD)は、独自に開発されたドメイン教師を1人の学生に組み合わせ、学生が生成したサンプルの予測を蒸留する。 本研究では,教師が参照モデルを共有しながら異なる訓練手順を実践する環境について検討し,MOPDが教師の能力回復に苦慮していることを見出した。 我々は,MOPD (Iterative Merging for MOPD) を提案する。
  論文  参考訳（メタデータ） (2026-09-28T09:37:22Z)
• D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
  マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。 既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。 固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。 D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
  論文  参考訳（メタデータ） (2026-08-25T17:57:11Z)
• Mach-Mind-4-Flash Technical Report [0.0]
  Mach-Mind-4-Flashは3Bアクティベートパラメータを持つMixture-of-Experts (MoE)エージェントモデルである。 トレーニング後の最適化は、事前学習計算をスケーリングすることなく、100B-パラメータクラスのモデルと同等かそれ以上のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-10T12:57:08Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
  LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。 具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。 我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
  論文  参考訳（メタデータ） (2026-05-05T12:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。