論文の概要: DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism

• arxiv url: http://arxiv.org/abs/2605.11005v1
• Date: Sun, 10 May 2026 05:57:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.293111
• Title: DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism
• Title（参考訳）: DisagMoE:Disaggregated AF-Pipe Parallelismによる計算・通信の重複したMoEトレーニング
• Authors: Zhichen Zeng, Chi-Chih Chang, Jiayi Wang, Zezhou Wang, Ningxin Zheng, Zheng Zhong, Cesar A. Stuardo, Dongyang Wang, Mohamed S. Abdelfattah, Haibin Lin, Banghua Zhu, Ang Li, Ziheng Jiang,
• Abstract要約: 本稿では,モデル配置とスケジューリングを協調的に最適化し,最大効率のトレーニングシステムであるDisagMoEを提案する。 DisagMoEは16ノード8xH800クラスタ上で最大1.8倍のスピードアップで、複数のMoEモデルのトレーニング効率を改善する。
• 参考スコア（独自算出の注目度）: 26.73062475753107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-experts (MoE) architectures enable trillion-parameter LLMs with sparsely activated experts. Expert parallelism (EP) is a widely adopted MoE training strategy, but it suffers from severe all-to-all communication bottlenecks, which is exaggerated by the limited inter-node network bandwidth as the growing model size requires distributing experts across GPU nodes. Prior work focused on overlapping these all-to-all communications with feed-forward network (FFN) and self-attention computations, which often leaves residual network-bound stalls due to inherent imbalance in attention and FFN layers' computation-communication ratios. We present DisagMoE, a disaggregated MoE training system that jointly optimizes model placement and scheduling for maximal efficiency. DisagMoE separates attention and FFN layers into disjoint GPU groups, introduces a multi-stage pipeline with uni-directional, many-to-many communications, and employs a computation-communication roofline model to balance GPU and network bandwidth allocation among the attention and FFN groups. DisagMoE is implemented on Megatron-LM, and evaluation shows that DisagMoE improves training efficiency across multiple MoE models with up to 1.8x speedup on 16-node 8xH800 clusters.
• Abstract（参考訳）: Mixture-of-experts (MoE)アーキテクチャは、わずかに活性化された専門家による1兆パラメートルのLLMを可能にする。 エキスパート並列性(EP)は広く採用されているMoEトレーニング戦略であるが、GPUノードにまたがる専門家の分散が要求されるため、ノード間のネットワーク帯域幅の制限によって誇張される、すべての通信ボトルネックに悩まされている。 以前の研究は、フィードフォワードネットワーク(FFN)とセルフアテンション計算との全ての通信をオーバーラップすることに重点を置いていた。 本稿では,モデル配置とスケジューリングを協調的に最適化し,最大効率を向上する分散MoEトレーニングシステムであるDisagMoEを提案する。 DisagMoEは、注目層とFFN層を非結合GPUグループに分離し、一方向多対多通信を備えたマルチステージパイプラインを導入し、アテンションとFFNグループ間でGPUとネットワーク帯域割り当てのバランスをとるために計算通信ルーフラインモデルを採用している。 DisagMoEはMegatron-LM上に実装されており、DagMoEは16ノード8xH800クラスタ上で最大1.8倍のスピードアップで複数のMoEモデルのトレーニング効率を向上させる。

関連論文リスト

• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Parm: Efficient Training of Large Sparsely-Activated Models with Dedicated Schedules [15.680276212483292]
  本稿では,MP+EP+ESP学習を高速化するParmを提案する。 Parmは、1.13$times$から5.77$times$のスピードアップを実現し、1296年に手動で設定されたMoEレイヤと、2つの現実世界のMoEモデルで約3$times$の改善を行った。
  論文  参考訳（メタデータ） (2024-06-30T05:55:11Z)
• Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts [4.629608387540524]
  ScMoEは、重複する並列化戦略と統合された新しいショートカット接続型MoEアーキテクチャである。 一般的なトップ2のMoEベースラインと比較して、ScMoEはトレーニングで1.49倍、推論で1.82倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-04-07T17:17:23Z)
• LocMoE: A Low-Overhead MoE for Large Language Model Training [13.153904674287546]
  本稿では,部分的なノード間通信をノード内通信に変換することで,負荷バランスと局所性を組み合わせた新しいルーティング手法を提案する。 提案されたLocMoEは、古典的なルータと比較して、エポックあたりのトレーニング時間を12.68%削減して22.24%に短縮した。
  論文  参考訳（メタデータ） (2024-01-25T03:36:39Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。