論文の概要: Fine-grained Computation-Communication Overlap via Tile-level Signaling and Scheduling for Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2607.19539v1
- Date: Tue, 21 Jul 2026 19:40:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:37.91526
- Title: Fine-grained Computation-Communication Overlap via Tile-level Signaling and Scheduling for Mixture-of-Experts
- Title（参考訳）: 混合実験のためのタイルレベル信号とスケジューリングによる微粒化計算-通信オーバーラップ
- Abstract要約: Mixture-of-Experts (MoE)アーキテクチャは、計算コストを比例せずにモデル容量を増加させる。
本稿では、タイルレベルのシグナリングとスケジューリングにより、エキスパート計算と第2のオール・ツー・オールとを重複させる、きめ細かいアプローチを提案する。
このアプローチでは、4-A100 GPUプラットフォーム上でのエンドツーエンドの2.64倍の高速化と2.74倍のMoE層高速化を実現している。
- 参考スコア（独自算出の注目度）: 0.9940728137241214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) architectures increase model capacity without proportionally increasing computation cost and have become a key building block for scaling large language models (LLMs) to trillion-parameter regimes. Efficient deployment of these MoE models relies on distributed execution across multiple GPUs, where each MoE layer involves two all-to-all communications: dispatching tokens to expert ranks and returning the expert outputs to their source ranks. Conventional MoE implementations launch this return all-to-all after expert compute completes, exposing communication latency on the critical path and reducing GPU utilization. We present a fine-grained approach that overlaps expert compute with the second all-to-all via tile-level signaling and scheduling. Our producer-consumer co-design combines: (1) a persistent per-rank computation kernel (producer) that covers all local experts on the rank to eliminate repeated kernel launch overhead and prioritizes remote-critical tiles, and (2) a persistent communication kernel (consumer) on a small dedicated partition of streaming multiprocessors (SMs) that issues segment-granular transfers as tiles become ready. Our co-design avoids intrusive changes to the underlying computation operators or communication primitives, making it practical for improving distributed MoE execution efficiency on multi-GPU systems. On a 4-A100 GPU platform, evaluated on three MoE models against four state-of-the-art MoE systems, our approach achieves up to 2.64x end-to-end speedup and 2.74x MoE-layer speedup. Compared with a conventional non-overlap baseline, our approach consistently improves both operator- and MoE-layer-level performance across varying GEMM shapes, router modes, and a broad range of producer/consumer SM partitions, while preserving correctness.
- Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、計算コストを比例的に増加させることなくモデル容量を増大させ、大規模言語モデル(LLM)を1兆パラメータに拡張するための重要なビルディングブロックとなっている。
これらのMoEモデルの効率的なデプロイは、複数のGPU間での分散実行に依存しており、各MoE層には、専門家のランクにトークンをディスパッチし、専門家の出力をソースのランクに戻すという、2つの全対全通信が含まれる。
従来のMoE実装では、専門家の計算が完了した後、このリターンをすべてすべて実行し、クリティカルパスでの通信遅延を露呈し、GPU使用率を低下させる。
本稿では、タイルレベルのシグナリングとスケジューリングにより、エキスパート計算と第2のオール・ツー・オールとを重複させる、きめ細かいアプローチを提案する。
生産者と消費者の共設計は,(1)カーネルの繰り返し起動オーバーヘッドを排除し,リモートクリティカルタイルを優先するために,ランクのすべてのローカル専門家をカバーし,(2)ストリーミングマルチプロセッサ(SM)の小さな専用パーティション上に永続的な通信カーネル(コンシューマ)を配置し,タイルの準備が整うにつれてセグメントグラニュラー転送を発行する。
我々の共同設計は、基礎となる演算子や通信プリミティブへの侵入的な変更を回避し、マルチGPUシステム上での分散MoE実行効率の向上に有効である。
In a 4-A100 GPU platform, a three MoE model against four-of-the-the-art MoE systems, our approach achieved to up 2.64x end-to-end speedup and 2.74x MoE-layer speedup。
従来の非オーバーラップベースラインと比較して,提案手法は,GEMM形状,ルータモード,広範囲のプロデューサ/コンシューマSMパーティションにまたがって,演算子層とMoE層レベルの性能を一貫して改善する。
関連論文リスト
- Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。
本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。
2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
論文 参考訳（メタデータ） (2026-08-29T14:27:55Z) - DisagMoE: Computation-Communication overlapped MoE Training via Disaggregated AF-Pipe Parallelism [26.73062475753107]
本稿では,モデル配置とスケジューリングを協調的に最適化し,最大効率のトレーニングシステムであるDisagMoEを提案する。
DisagMoEは16ノード8xH800クラスタ上で最大1.8倍のスピードアップで、複数のMoEモデルのトレーニング効率を改善する。
論文 参考訳（メタデータ） (2026-05-10T05:57:05Z) - Piper: Efficient Large-Scale MoE Training via Resource Modeling and Pipelined Hybrid Parallelism [1.0130502379786543]
HPCプラットフォーム上でのMoEモデルのトレーニングは、大きなメモリフットプリント、異種ネットワーク間の大規模通信の頻繁な増加、厳しいワークロードの不均衡によって妨げられている。
我々は,様々な並列化スキームの下で,MoE構成のメモリ,計算,通信要求を定量化する数学的モデルを開発した。
我々は、リソースモデリングを活用して、ターゲットHPCプラットフォーム上でのMoEモデルの効率的なトレーニング戦略を特定するフレームワークであるPiperを紹介する。
論文 参考訳（メタデータ） (2026-05-06T15:47:14Z) - Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。
我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。
BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
論文 参考訳（メタデータ） (2025-11-04T01:15:44Z) - MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。
資源制約されたプラットフォームにおける高い計算コスト制限。
我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2025-10-16T18:00:00Z) - Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts [8.80408909878008]
Mixture-of-experts (MoE) は、大規模な言語モデルを1兆以上のパラメータに拡張するために広く利用されている。
既存の方法は、オーバーラップする計算でMoE層内の通信をパイプライン化することを提案している。
細粒度通信-計算オーバラップを最適化したMOEシステムであるCOMETを提案する。
論文 参考訳（メタデータ） (2025-02-27T06:36:45Z) - Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。
当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。
Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
論文 参考訳（メタデータ） (2024-10-24T19:48:51Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。
その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
論文 参考訳（メタデータ） (2024-10-16T05:17:49Z) - Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts [4.629608387540524]
ScMoEは、重複する並列化戦略と統合された新しいショートカット接続型MoEアーキテクチャである。
一般的なトップ2のMoEベースラインと比較して、ScMoEはトレーニングで1.49倍、推論で1.82倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-04-07T17:17:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。