論文の概要: Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization

• arxiv url: http://arxiv.org/abs/2509.26520v1
• Date: Tue, 30 Sep 2025 16:56:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.217347
• Title: Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization
• Title（参考訳）: 弾性推論-時間的エキスパート利用のための訓練用マトリルシュカミクチャー-オブ・エクササイズ
• Authors: Yaoxiang Wang, Qingguo Hu, Yucheng Ding, Ruizhe Wang, Yeyun Gong, Jian Jiao, Yelong Shen, Peng Cheng, Jinsong Su,
• Abstract要約: Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。 私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
• 参考スコア（独自算出の注目度）: 60.309915093470416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) has emerged as a promising paradigm for efficiently scaling large language models without a proportional increase in computational cost. However, the standard training strategy of Top-K router prevents MoE models from realizing their full potential for elastic inference. When the number of activated experts is altered at inference time, these models exhibit precipitous performance degradation. In this work, we introduce Matryoshka MoE (M-MoE), a training framework that instills a coarse-to-fine structure directly into the expert ensemble. By systematically varying the number of activated experts during training, M-MoE compels the model to learn a meaningful ranking: top-ranked experts collaborate to provide essential, coarse-grained capabilities, while subsequent experts add progressively finer-grained detail. We explore this principle at multiple granularities, identifying a layer-wise randomization strategy as the most effective. Our experiments demonstrate that a single M-MoE model achieves remarkable elasticity, with its performance at various expert counts closely matching that of an entire suite of specialist models, but at only a fraction of the total training cost. This flexibility not only unlocks elastic inference but also enables optimizing performance by allocating different computational budgets to different model layers. Our work paves the way for more practical and adaptable deployments of large-scale MoE models.
• Abstract（参考訳）: Mixture-of-Experts (MoE) は、計算コストの比例的な増加を伴わずに、大規模言語モデルを効率的にスケールするための有望なパラダイムとして登場した。 しかし、Top-Kルータの標準的なトレーニング戦略は、MoEモデルが弾性推論の完全な可能性を実現するのを妨げている。 アクティベートした専門家の数が推測時に変化すると、これらのモデルは急激な性能劣化を示す。 本研究では,M-MoE(Matryoshka MoE,M-MoE)について紹介する。 トレーニング中にアクティベートされた専門家の数を体系的に変化させることで、M-MoEは有意義なランキングを学ぶためのモデルを補完する。 我々は、この原理を複数の粒度で探求し、最も効果的である層ワイドなランダム化戦略を同定する。 実験により,M-MoEモデルが一組のスペシャリストモデルと密に一致しているが,トレーニングコストのごく一部に過ぎず,優れた弾力性が得られることが示された。 この柔軟性は弾性推論を解放するだけでなく、異なる計算予算を異なるモデル層に割り当てることでパフォーマンスを最適化する。 私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。

関連論文リスト

• Elastic MoE: Unlocking the Inference-Time Scalability of Mixture-of-Experts [43.63398524449102]
  Mixture-of-Experts (MoE)モデルは通常、トレーニングと推論の両方でアクティベートされた専門家の数を$k$に修正する。 新たなトレーニングフレームワークであるElastic Mixture-of-Experts(EMoE)を導入しました。
  論文  参考訳（メタデータ） (2025-09-26T05:29:19Z)
• Symphony-MoE: Harmonizing Disparate Pre-trained Models into a Coherent Mixture-of-Experts [18.18231276284727]
  Mixture-of-Experts (MoE)モデルは、大きなパラメータセットをわずかに活性化することにより、スケーラブルなパフォーマンスを実現する。 近年の作業では、フィードフォワードネットワーク(FFN)層を専門家に複製することで、トレーニング済みの高密度モデル1つを再利用している。 本稿では、複数の同一構造を持つ異なる事前学習モデルから得られたエキスパートを用いて、強力なMoEモデルを構築することにより、この制限に対処する。
  論文  参考訳（メタデータ） (2025-09-23T02:07:14Z)
• Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
  MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
  論文  参考訳（メタデータ） (2024-10-14T06:02:56Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。