論文の概要: Memory-Efficient Expert Routing for Distributed MoE Training
- arxiv url: http://arxiv.org/abs/2610.07333v1
- Date: Mon, 05 Oct 2026 20:07:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.639429
- Title: Memory-Efficient Expert Routing for Distributed MoE Training
- Title（参考訳）: 分散MoEトレーニングのためのメモリ効率の良いエキスパートルーティング
- Abstract要約: RelayMoEは、専門家の重みやトークンが流通しているように、ローカルに計算する。
RelayMoEを30B$-57B生産用MoEモデルと各種専門家構成で評価した。
- 参考スコア（独自算出の注目度）: 1.7154299609810522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Mixture-of-Experts (MoE) models scale toward hundreds of experts and higher top-$k$ routing, memory efficiency in distributed training becomes a critical bottleneck. Peak memory is dominated by the MoE block, not attention: every intermediate buffer in the MoE dispatch pipeline is individually scaled by top-k routing. The standard all-to-all dispatcher sends all routed tokens in a single collective step, requiring the full top-$k$-expanded buffer to be constructed at once. In this work, we propose RelayMoE, a ring-based MoE execution model that computes locally as expert weights or tokens circulate, avoiding full top-$k$-expanded dispatch buffers. RelayMoE selects between expert and token routing according to communication volume and overlaps transfers with computation. The ring structure naturally supports memory-efficient MoE recomputation during backward: each hop reconstructs expert intermediates, uses them to compute gradients, and releases them before the next hop. The saved memory supports longer sequences and larger batches, or retains more attention activations to reduce attention recomputation and improve training throughput. We evaluate RelayMoE on 30B$-$57B production MoE models and varied expert configurations. In single-layer MoE experiments, RelayMoE achieves a $2\times$ average speedup over Megatron-LM. In full-model training under the same GPU memory budget, it improves throughput by up to $2.02\times$ and extends the largest tested trainable sequence length by up to $2.85\times$.
- Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、何百ものエキスパートと上位$kのルーティングにスケールするので、分散トレーニングにおけるメモリ効率は重要なボトルネックとなる。
MoEディスパッチパイプラインのすべての中間バッファは、トップkルーティングによって個別にスケールされる。
標準のオールツーオールディスペンサーは、すべてのルーティングされたトークンを単一の集合ステップで送信する。
本研究では,リングベースのMoE実行モデルであるRelayMoEを提案する。
RelayMoEは通信量に応じて専門家とトークンのルーティングを選択し、転送と計算をオーバーラップする。
各ホップはエキスパート中間体を再構成し、勾配を計算し、次のホップの前に解放する。
保存されたメモリは、長いシーケンスとより大きなバッチをサポートし、注意の活性化を保ち、注意再計算を減らし、トレーニングスループットを向上させる。
RelayMoEを30B$-57B生産用MoEモデルと各種専門家構成で評価した。
単層MoE実験では、RelayMoEはMegatron-LMよりも平均速度が2\times$2。
同じGPUメモリ予算下でのフルモデルトレーニングでは、スループットを最大2.02\times$で改善し、テスト可能な最大シーケンス長を最大2.85\times$で拡張する。
関連論文リスト
- MoRE: Scaling mixture of experts with hardware-aware low-rank routing [18.92561703051693]
そこで,Mixture of Rank-reduced-routed Experts (Mixture of Rank-Reduced-routed Experts) を導入し,ルータの重み行列をランク$r$で分解し,ルーティングコストを$O((h + M)r)$に削減する。
能動的専門家の数が固定された場合,M$suffices のランク対数式が表現率のルーティングに十分であることを示す。
MoREは、事前学習後、電話帳タスクの記憶を改善し、知識集約型Q&Aベンチマークのパフォーマンスを推論能力に適合させながら改善する。
論文 参考訳（メタデータ） (2026-09-28T21:37:17Z) - HERO-MoE: Historical Expert Routing with Scale-Preserving Fusion [51.439927979778965]
歴史的ルーティング先をMoEルータに注入するルーティングフレームワークであるHERO-MoE, Historical Expert ROuting with Scale-Preserving Fusionを提案する。
HERO-MoEはオリジナルのトークン条件のルーティングブランチを保存し、標準ディスパッチの前に残る履歴ルーティングのコントリビューションを追加する。
実験の結果、HERO-MoE は最終損失を 1.6393 から 1.6184 に減らし、ピークメモリと FLOP はそれぞれ 0.44% と 0.64% に増加した。
論文 参考訳（メタデータ） (2026-09-26T12:55:50Z) - dMoE: dLLMs with Learnable Block Experts [71.572316901001]
単純なブロックレベルのMoEフレームワークであるdMoEを提案する。
また,dMoEは,推論中に一意に活性化される専門家の数を著しく減少させることを示した。
また、メモリ使用量を76.64%から79.84%に減らし、1.14$times$から1.66$times$エンドツーエンドのレイテンシ高速化を実現している。
論文 参考訳（メタデータ） (2026-05-29T06:03:50Z) - MoBiE: Efficient Inference of Mixture of Binary Experts under Post-Training Quantization [11.19613037505662]
MoBiEは、Mixture-of-Experts (MoE)ベースの大規模言語モデル(LLM)用に設計されたバイナライズフレームワークである。
MoBiEは、複数のMoEベースのLLMとベンチマークで最先端のバイナリメソッドを一貫して上回っている。
論文 参考訳（メタデータ） (2026-04-08T08:12:26Z) - MoE-DisCo:Low Economy Cost Training Mixture-of-Experts Models [6.372179935695467]
大規模なMixture-of-Experts(MoE)モデルのトレーニングには、高メモリで高帯域幅のGPU(例:A100)が必要である。
MoE-DisCoは、MoEモデルを複数の密集したサブモデルに分解し、それぞれが共有バックボーンと単一のエキスパートで構成され、トレーニングデータを教師なしクラスタリングを使用してサブセットに分割する。
論文 参考訳（メタデータ） (2026-01-11T10:59:15Z) - SonicMoE: Accelerating MoE with IO and Tile-aware Optimizations [54.303301888915406]
混合エキスパートモデル(MoE)は、計算コストを大幅に増加させることなく、言語モデルをスケールアップするためのデファクトアーキテクチャとして登場した。
最小のアクティベーションキャッシングでMoEの前後パスを計算するメモリ効率のアルゴリズムを提案する。
また,グループ化されたGEMMカーネルのパディングによる無駄計算を最小限に抑える新しい「トークンラウンドリング」手法を提案する。
論文 参考訳（メタデータ） (2025-12-16T04:39:10Z) - ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。
ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
論文 参考訳（メタデータ） (2025-03-10T03:15:54Z) - Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient
for Convolutional Neural Networks [74.68583356645276]
ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。
我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
論文 参考訳（メタデータ） (2023-06-07T00:16:10Z) - Pipeline MoE: A Flexible MoE Implementation with Pipeline Parallelism [91.9372563527801]
既存のMoEモデルは、膨大な内部ノードとノード間通信オーバーヘッドに悩まされる。
本稿では,新しいMoEアーキテクチャであるPipeline MoE(PPMoE)を提案する。
PPMoEは、テンソル並列を組み込んだ専門家の並列処理を構築し、通信集約型の全対一のディスパッチとコレクションを置き換える。
論文 参考訳（メタデータ） (2023-04-22T14:09:14Z) - MoESys: A Distributed and Efficient Mixture-of-Experts Training and Inference System for Internet Services [32.278096820269816]
大規模トレーニングと推論の両方において効率を高める新しいMoESysを提案する。
具体的には、トレーニング手順において、提案されたMoESysは、階層ストレージ上の2Dプリフェッチとフュージョン通信を備えたElastic MoEトレーニング戦略を採用する。
単一ノードでのスケーラブルな推論のために、MoESysはCPU-GPUメモリを、モデルをロードするセクションのリングに共同で構築し、効率的な推論のためにラウンドロビン方式でメモリセクション全体で計算タスクを実行する。
論文 参考訳（メタデータ） (2022-05-20T09:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。