論文の概要: Rethinking Self-Distillation for Multi-Teacher Capability Merging

• arxiv url: http://arxiv.org/abs/2610.04272v1
• Date: Sat, 03 Oct 2026 03:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 12:00:34.620188
• Title: Rethinking Self-Distillation for Multi-Teacher Capability Merging
• Title（参考訳）: マルチ教師能力融合のための自己蒸留の再考
• Abstract要約: 最近の傾向は、マルチテラーオンポリケーション(MOPD)が従来のオフポリケーション法より優れていることを示唆している。 MOPDによって引き起こされる推論と環境相互作用のコストが高いにもかかわらず、報告された精度向上の多くは、特定のトレーニング設計の選択によるものである。 トレーニングなしの代替手段として、単純な重み付け手法が、マージ時間の数分で専門家の能力を回復できることがわかった。
• 参考スコア（独自算出の注目度）: 31.44956665205252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining capabilities of multiple expert models trained starting from the same base checkpoint has become increasingly common in frontier language-model post-training. Recent trends suggest that multi-teacher on-policy distillation (MOPD) outperforms conventional off-policy methods. However, despite the higher inference and environment interaction costs incurred by MOPD, we find that much of its reported accuracy gain is due to certain training design choices and hyperparameter optimization, rather than the algorithm itself. We conduct a controlled self-distillation study across two multi-teacher settings, four models, and eleven benchmarks, comparing off-policy methods, namely supervised fine-tuning (SFT) and soft-label distillation, to hybrid teacher-prefix distillation and MOPD. We found that all four methods achieve \textit{nearly identical} accuracy. However, MOPD uses $14.8$--$23.1\times$ SFT's training GPU-hours. We also revisit four recently published comparisons between on-policy and off-policy distillation and find that the reported on-policy gains shrink substantially when SFT baselines are trained on rejection-sampled teacher trajectories and use independently tuned hyperparameters. As a training-free alternative, we also find that simple weight-merging methods can recover expert capabilities with minutes of CPU merging time, although their accuracy degrades as model size decreases and task interference increases. Overall, our results question recent gains reported due to MOPD and suggest careful tuning of more efficient off-policy baselines as a viable alternative.
• Abstract（参考訳）: 同じベースチェックポイントからトレーニングされた複数のエキスパートモデルの能力を組み合わせることは、フロンティア言語モデルポストトレーニングにおいてますます一般的になっています。 最近の傾向は、マルチテラーオンポリケーション(MOPD)が従来のオフポリケーション法より優れていることを示唆している。 しかし,MOPDによって引き起こされる推論と環境相互作用のコストが高いにもかかわらず,その精度向上の報告の多くは,アルゴリズム自体よりも特定のトレーニング設計選択とハイパーパラメータ最適化によるものであることが判明した。 教師・教師・教師・教師・教師の共用蒸留とMOPDを比較検討し,教師・教師・教師・教師の2つの設定,4つのモデル,11のベンチマークで自己蒸留を制御した。 その結果, 4つの手法がすべて, textit{nearly same} の精度を達成できることがわかった。 しかし、MOPDは14.8$-23.1\times$ SFTのGPU-hoursを使用する。 また,最近公表されたオンライン蒸留と非政治蒸留の比較を4回再検討し,SFTベースラインが拒絶サンプリングされた教師軌道で訓練され,個別に調整されたハイパーパラメータを使用すると,報告されたオンライン蒸留は大幅に減少することを示した。 トレーニング不要の代替手段として、モデルサイズが減少しタスク干渉が増加するにつれて精度が低下するが、単純な重み付け手法により、CPUマージ時間の数分で専門家の能力を回復できることがわかった。 以上の結果から,MOPDによる近年の利上げを疑うとともに,より効率的な政策外ベースラインの注意深い調整を有効な代替手段として提案した。

関連論文リスト

• Interactive-Policy Distillation with Bidirectional Propose-and-Verify [15.832994594431776]
  インタラクティブ・ポリシィ蒸留(IPD)は、学生のロールアウトに適応的な教師の介入を適用する。 IPDは、より高性能な蒸留法であるだけでなく、オン・ポリティズムとオフ・ポリティズムのパラダイムの間の統一されたブリッジでもある。 数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。
  論文  参考訳（メタデータ） (2026-09-29T02:32:39Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• SODA: Semi On-Policy Black-Box Distillation for Large Language Models [19.748920924563546]
  大きな言語モデルに対するブラックボックスの知識蒸留は厳密なトレードオフをもたらす。 4つのコンパクトQwen2.5およびLlama-3モデルのセミ評価は、このセミオン政治パラダイムを検証する。 トレーニングを10倍速くし、27%のピークGPUメモリを消費し、対向不安定性を完全に排除しながら、この優れた蒸留品質を実現する。
  論文  参考訳（メタデータ） (2026-04-04T21:38:22Z)
• Beyond Single-Sample: Reliable Multi-Sample Distillation for Video Understanding [6.759788796474815]
  R-MSD(Reliable Multi-Sample Distillation)は、教師によるサンプリングの分散をモデル化し、蒸留安定性を高めるフレームワークである。 本手法は, 対向蒸留目標に適合する品質認識信号を統合することにより, 知識伝達を最大化しながら教師の雑音を効果的にフィルタする。
  論文  参考訳（メタデータ） (2026-03-12T01:30:37Z)
• Bringing Stability to Diffusion: Decomposing and Reducing Variance of Training Masked Diffusion Models [8.964977926797173]
  マスク付き拡散モデル(MDMs)は自己回帰モデル(ARMs)に代わる有望な代替品である 高い分散は、よりノイズの多い勾配推定と不安定な最適化をもたらすため、同様に強い事前訓練されたMDMやARMもタスク固有の訓練後に分岐する。 A)マスキングパターンノイズ,(B)マスキングレートノイズ,(C)データノイズの3つの源にMDMトレーニングのばらつきを初めて分解した。
  論文  参考訳（メタデータ） (2025-11-22T19:04:47Z)
• More Than One Teacher: Adaptive Multi-Guidance Policy Optimization for Diverse Exploration [103.1589018460702]
  ガイダンス・オン・デマンド」アプローチは、自己発見の価値を保ちながら探究を広げる。 実験の結果、AMPOは強いベースラインを大幅に上回ることが示された。 ピアサイズの4人の教師を用いて、より強力な1人の教師を活用できる手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2025-10-02T17:14:00Z)
• MEPT: Mixture of Expert Prompt Tuning as a Manifold Mapper [75.6582687942241]
  本稿では,Mixture of Expert Prompt Tuning (MEPT) を効果的かつ効率的な多様体マッピングフレームワークとして提案する。 MEPTは複数のプロンプト専門家を統合し、多様な非定常データ分布を適応的に学習する。 経験的評価により、MEPTはSuperGLUE上でいくつかの最先端パラメータの効率的なベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-31T21:19:25Z)
• Decision S4: Efficient Sequence-Based RL via State Spaces Layers [87.3063565438089]
  我々は、S4モデルの訓練効率を維持しつつ、軌道で機能する非政治的な訓練手順を提案する。 反復的に訓練され、長距離依存の恩恵を受け、新しい安定したアクター・クリティカルなメカニズムをベースとした、オンデマンドのトレーニング手順。
  論文  参考訳（メタデータ） (2023-06-08T13:03:53Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。