論文の概要: A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation

• arxiv url: http://arxiv.org/abs/2610.23185v2
• Date: Tue, 20 Oct 2026 08:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.223267
• Title: A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation
• Title（参考訳）: より強い教師: オンライン二方向蒸留によるMoEモデルの強化
• Abstract要約: MoEvolveは、回復・改善戦略に続く双方向蒸留フレームワークである。 我々は、MoEvolveが初期モデルを最大22.2ドルのドメイン平均値で改善し、同じ予算のRLVRベースラインを最大6.5ドルの値で上回ることを示した。
• 参考スコア（独自算出の注目度）: 17.812736304117617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has substantially improved Mixture-of-Experts (MoE) LLMs, but its outcome-level rewards provide only sparse supervision. On-Policy Distillation offers dense token-level feedback, yet requires a stronger compatible teacher, while on-policy self-distillation relies on hand-designed privileged information. We observe that the MoE architecture itself offers a way to resolve this dilemma, as increasing the activation budget per token exposes latent expert capacity and yields a potentially stronger teacher within the model. However, naive expansion degrades performance because newly co-activated experts are not optimized to work together. We therefore propose MoEvolve, a bidirectional distillation framework following a recovery-then-improvement strategy: we first restore the activation-expanded high-$k$ model and further strengthen it by exploiting its additional active capacity, then reverse the direction of distillation to transfer the enhanced capabilities back into the original low-$k$ configuration, retaining its inference-time activation budget. Across diverse MoE models and benchmarks, MoEvolve improves the initial models by up to $22.2$ domain-average points and outperforms same-budget RLVR baselines by up to $6.5$ points. Notably, the final low-$k$ models often surpass their activation-expanded teachers.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR)は、Mixture-of-Experts (MoE) LLMを大幅に改善したが、結果レベルの報酬はスパース・インスペクションのみを提供する。 オンポリシィ蒸留(On-Policy Distillation)は、密集したトークンレベルのフィードバックを提供するが、より強い互換性を持つ教師を必要とし、一方、オンポリシィ蒸留は手書きの特権情報に依存している。 トークン単位のアクティベーション予算が増加すると、潜在専門家の能力が明らかになり、モデル内の潜在的に強力な教師が生まれるため、MoEアーキテクチャ自体がこのジレンマを解決する手段を提供する。 しかし、新たにアクティベートされた専門家が一緒に働くように最適化されていないため、ナイーブな拡張はパフォーマンスを低下させる。 そこで,本研究では,まず,活性化拡大した高活性k$モデルを復元し,その付加活性量を活用してさらに強化し,次に蒸留の方向を反転させて,拡張された機能を元の低活性k$構成に戻すことで,推論時アクティベーション予算を維持した,双方向蒸留フレームワークであるMoEvolveを提案する。 様々なMoEモデルとベンチマークで、MoEvolveは初期モデルを22.2ドルの平均値で改善し、同じ予算のRLVRベースラインを6.5ドルまで上回っている。 特筆すべきは、最後の低価格モデルが、アクティベーションが拡大した教師を追い越すことである。

関連論文リスト

• Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation [41.854144563456046]
  弱強一般化は、より弱いスーパーバイザーからより強力なモデルを学び、それらを上回ることができるかどうかを問う。 本稿では,教師の政策シフトを評価し,学生の検証者主導の政策勾配を増幅するOn-Policy Reverse Distillationを紹介する。 連続したモデル転送とマルチティーチンガー蒸留の両方において、OPRDは既存のRLや蒸留手法よりも学生更新が少なく、極めて高い性能を達成している。
  論文  参考訳（メタデータ） (2026-09-08T14:26:35Z)
• ReAD: Reinforcement-Guided Capability Distillation for Large Language Models [69.00808591939524]
  固定トークン予算下でのキャパシティ蒸留について検討し、2つの一貫したパターンを同定する。 Reinforcement-guided cApability Distillation frameworkであるREADを提案する。
  論文  参考訳（メタデータ） (2026-05-11T22:17:51Z)
• Alloc-MoE: Budget-Aware Expert Activation Allocation for Efficient Mixture-of-Experts Inference [25.277100980819252]
  本稿では,専門家のアクティベーション数に対する制約として,エフェクティベーション予算の概念を導入する。 性能劣化を最小限に抑えるため,各層およびトークンレベルで予算配分を協調的に最適化する統合フレームワークであるAlloc-MoEを提案する。
  論文  参考訳（メタデータ） (2026-04-09T11:50:21Z)
• Squeeze Evolve: Unified Multi-Model Orchestration for Verifier-Free Evolution [81.46210789228296]
  検証不要な進化推論のための統合型マルチモデルオーケストレーションフレームワークであるSqueeze Evolveを紹介する。 われわれのアプローチは単純な原則で導かれており、最良効能を有するモデル能力を割り当てる。
  論文  参考訳（メタデータ） (2026-04-09T02:14:45Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• Module-wise Adaptive Distillation for Multimodality Foundation Models [125.42414892566843]
  マルチモーダル・ファンデーション・モデルは 目覚ましい 一般化性を示したが 規模が大きいため 展開に挑戦する 規模を減らすための効果的なアプローチの1つは層単位での蒸留であり、小さな学生モデルは各層で大きな教師モデルの隠された表現と一致するように訓練される。 そこで本研究では, 各モジュールの蒸留後の損失デクリメントを記録し, より頻繁な蒸留に寄与するモジュールを選択することによって, 個々のモジュールの寄与をトラックすることを提案する。
  論文  参考訳（メタデータ） (2023-10-06T19:24:00Z)
• Contrastive Learning from Extremely Augmented Skeleton Sequences for Self-supervised Action Recognition [23.27198457894644]
  自己教師型行動表現(AimCLR)のためのアウンダント情報マイニングを利用したコントラスト学習フレームワークを提案する。 まず,エネルギベースアテンション誘導落下モジュール(EADM)を極端に拡張し,多様な正の試料を得る。 第三に、近隣鉱業(NNM)は、豊富な情報マイニングプロセスをより合理的なものにするため、ポジティブなサンプルをさらに拡大するために提案されている。
  論文  参考訳（メタデータ） (2021-12-07T09:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。