論文の概要: TopoEP: Topology-Aware Load Balancing for Expert-Parallel MoE Training
- arxiv url: http://arxiv.org/abs/2609.35481v1
- Date: Mon, 28 Sep 2026 15:57:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 05:01:37.519031
- Title: TopoEP: Topology-Aware Load Balancing for Expert-Parallel MoE Training
- Title（参考訳）: TopoEP:エキスパートパラレルMOEトレーニングのためのトポロジ対応ロードバランシング
- Abstract要約: 動的ルーティングは、大規模なエキスパート並列混合(MoE)トレーニングにおいて、厳しい負荷不均衡を引き起こす。
大規模MoEトレーニングのためのGPUネイティブなトポロジ対応ロードバランシングシステムである textitTopoEP を提案する。
- 参考スコア（独自算出の注目度）: 33.05449172689584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic routing creates severe load imbalance in large-scale expert-parallel Mixture-of-Experts (MoE) training, turning GPUs that host hot experts into stragglers. As each MoE layer waits for its slowest rank, these stragglers prolong the expert-parallel stage and reduce overall training efficiency. Existing expert-parallelism load-balancing (EPLB) systems commonly compute load-balancing plans on the CPU, incurring device--host data transfers and cross-rank synchronization that make scheduling at every layer and microbatch expensive. Their planning formulations also overlook the hierarchical communication costs of modern scale-up and scale-out GPU clusters. We present \textit{TopoEP}, a GPU-native, topology-aware load-balancing system for large-scale MoE training. At each MoE layer and training microbatch, \textit{TopoEP} converts the current routing result into hot-expert replication and token-rerouting decisions and executes the resulting plan without data-dependent host synchronization, reducing critical-path overhead. To generate these decisions, \textit{TopoEP} uses a deterministic GPU solver that performs inter-node placement followed by intra-node refinement, allowing all ranks to independently produce bitwise-identical plans. On a 32-GPU NVIDIA H800 cluster, integrating \textit{TopoEP} with Megatron-LM improves end-to-end training throughput by 6.2\%--11.4\% across three representative MoE models.
- Abstract（参考訳）: 動的ルーティングは、大規模なエキスパート並列Mixture-of-Experts(MoE)トレーニングにおいて厳しい負荷不均衡を引き起こし、ホットエキスパートをホストするGPUをストラグラーに変換する。
各MoE層は最も低いランクを待ち、これらのストラグラーはエキスパート並列ステージを延長し、全体的なトレーニング効率を低下させる。
既存のエキスパート並列性ロードバランシング(EPLB)システムは、CPU上のロードバランシング計画(ロードバランシング計画)を一般的に計算し、デバイスのホストデータ転送と、すべてのレイヤでのスケジューリングとマイクロバッチのコストを高くするクロスランク同期を発生させる。
彼らの計画形式は、現代的なスケールアップとスケールアウトのGPUクラスタの階層的な通信コストも見落としている。
大規模MOEトレーニングのためのGPUネイティブなトポロジ対応ロードバランシングシステムである \textit{TopoEP} を提案する。
各MoEレイヤとトレーニング用マイクロバッチにおいて、 \textit{TopoEP} は現在のルーティング結果をホットエキスパートレプリケーションとトークンレイアウト決定に変換し、データ依存のホスト同期なしで結果のプランを実行する。
これらの決定を生成するために、 \textit{TopoEP} は決定論的GPUソルバを使用し、ノード間配置を実行し、ノード内改良を行い、すべてのランクが独立してビット単位の計画を作成することができる。
32GPUのNVIDIA H800クラスタ上で、 \textit{TopoEP}とMegatron-LMを統合することで、3つの代表的なMoEモデルに対して、エンドツーエンドのトレーニングスループットが6.2\%--11.4\%向上する。
関連論文リスト
- Fine-grained Computation-Communication Overlap via Tile-level Signaling and Scheduling for Mixture-of-Experts [0.9940728137241214]
Mixture-of-Experts (MoE)アーキテクチャは、計算コストを比例せずにモデル容量を増加させる。
本稿では、タイルレベルのシグナリングとスケジューリングにより、エキスパート計算と第2のオール・ツー・オールとを重複させる、きめ細かいアプローチを提案する。
このアプローチでは、4-A100 GPUプラットフォーム上でのエンドツーエンドの2.64倍の高速化と2.74倍のMoE層高速化を実現している。
論文 参考訳（メタデータ） (2026-07-21T19:40:06Z) - DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism [26.73062475753107]
本稿では,モデル配置とスケジューリングを協調的に最適化し,最大効率のトレーニングシステムであるDisagMoEを提案する。
DisagMoEは16ノード8xH800クラスタ上で最大1.8倍のスピードアップで、複数のMoEモデルのトレーニング効率を改善する。
論文 参考訳（メタデータ） (2026-05-10T05:57:05Z) - Piper: Efficient Large-Scale MoE Training via Resource Modeling and Pipelined Hybrid Parallelism [1.0130502379786543]
HPCプラットフォーム上でのMoEモデルのトレーニングは、大きなメモリフットプリント、異種ネットワーク間の大規模通信の頻繁な増加、厳しいワークロードの不均衡によって妨げられている。
我々は,様々な並列化スキームの下で,MoE構成のメモリ,計算,通信要求を定量化する数学的モデルを開発した。
我々は、リソースモデリングを活用して、ターゲットHPCプラットフォーム上でのMoEモデルの効率的なトレーニング戦略を特定するフレームワークであるPiperを紹介する。
論文 参考訳（メタデータ） (2026-05-06T15:47:14Z) - Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。
我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。
BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
論文 参考訳（メタデータ） (2025-11-04T01:15:44Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳（メタデータ） (2025-09-24T07:54:01Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。
その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
論文 参考訳（メタデータ） (2024-10-16T05:17:49Z) - Parm: Efficient Training of Large Sparsely-Activated Models with Dedicated Schedules [15.680276212483292]
本稿では,MP+EP+ESP学習を高速化するParmを提案する。
Parmは、1.13$times$から5.77$times$のスピードアップを実現し、1296年に手動で設定されたMoEレイヤと、2つの現実世界のMoEモデルで約3$times$の改善を行った。
論文 参考訳（メタデータ） (2024-06-30T05:55:11Z) - Pipeline MoE: A Flexible MoE Implementation with Pipeline Parallelism [91.9372563527801]
既存のMoEモデルは、膨大な内部ノードとノード間通信オーバーヘッドに悩まされる。
本稿では,新しいMoEアーキテクチャであるPipeline MoE(PPMoE)を提案する。
PPMoEは、テンソル並列を組み込んだ専門家の並列処理を構築し、通信集約型の全対一のディスパッチとコレクションを置き換える。
論文 参考訳（メタデータ） (2023-04-22T14:09:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。