論文の概要: Efficient Expert-Parallel Communication on PCIe-Connected Consumer GPUs

• arxiv url: http://arxiv.org/abs/2609.40093v1
• Date: Wed, 30 Sep 2026 16:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.085694
• Title: Efficient Expert-Parallel Communication on PCIe-Connected Consumer GPUs
• Title（参考訳）: PCIe接続型コンシューマGPUにおけるエキスパート・並列通信の効率化
• Abstract要約: エキスパート並列性(EP)は、複数のGPUに専門家を置くことで、大規模なMixture-of-Experts(MoE)モデルの推論を可能にする。 現在、このコミュニケーションは推測時間のごく一部を占める。 本稿では,従来のリングアルゴリズムのリレーホップを除去する新しい通信設計であるThunderEPを提案する。
• 参考スコア（独自算出の注目度）: 11.902884895414006
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Expert parallelism (EP) enables inference of large Mixture-of-Experts (MoE) models by placing their experts across multiple GPUs, but requires substantial communication between GPUs at every MoE layer. As contemporary MoE models activate more experts per token, this communication accounts for a growing fraction of inference time. The cost becomes particularly pronounced on PCIe-based consumer GPU systems, where all inter-GPU transfers traverse CPU memory. However, existing MoE-specialized EP communication libraries assume that direct GPU-to-GPU access is available, largely overlooking consumer GPUs. Therefore, most LLM frameworks instead rely on NCCL, whose CPU-staged communication incurs redundant PCIe transfers and competes with expert computation for GPU resources, limiting their overlap. We present ThunderEP, a novel communication design for such systems that removes the relay hops of traditional ring algorithm, moves data through DMA engines to avoid compute resource contention, and minimizes synchronization latency by reducing the polling overhead of completion flags in CPU memory. We integrate the proposed design into vLLM and evaluate it on three widely used MoE models. Experiments on two PCIe systems equipped with RTX 4090 and RTX 5090 GPUs show that ThunderEP achieves average speedups of 2.00$\times$ and 1.53$\times$ over NCCL for dispatch and combine, respectively, and up to 1.66$\times$ end-to-end speedup over state-of-the-art MoE inference frameworks.
• Abstract（参考訳）: エキスパート並列性(EP)は、複数のGPUに専門家を配置することで、大規模なMixture-of-Experts(MoE)モデルの推論を可能にするが、すべてのMoE層でGPU間の相当な通信を必要とする。 現代のMoEモデルがトークン当たりの専門家を活性化するにつれて、このコミュニケーションは推論時間の増加に寄与する。 コストはPCIeベースのコンシューマGPUシステムで特に顕著になる。 しかし、既存のMoE仕様のEP通信ライブラリは、直接GPUからGPUへのアクセスが可能であると仮定している。 したがって、ほとんどのLLMフレームワークはNCCLに依存しており、CPUステージの通信は冗長なPCIe転送を発生させ、GPUリソースのエキスパート計算と競合し、オーバーラップを制限している。 本稿では、従来のリングアルゴリズムのリレーホップを除去し、DMAエンジンを介してデータを移動し、CPUメモリにおける完了フラグのポーリングオーバーヘッドを低減し、同期待ち時間を最小化する、新しい通信設計であるThunderEPを提案する。 提案した設計をvLLMに統合し,広く使用されている3つのMoEモデル上で評価する。 RTX 4090 と RTX 5090 GPU を搭載した2つの PCIe システムの実験では、ThunderEP が平均速度2.00$\times$ と 1.53$\times$ と 1.66$\times$ と、最先端の MoE 推論フレームワーク上でのエンドツーエンドのスピードアップを実現している。

関連論文リスト

• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• Understand and Accelerate Memory Processing Pipeline for Disaggregated LLM Inference [45.78442013449325]
  大規模言語モデルは、複雑な推論をサポートするための効率的な長文処理と生成機構に依存している。 これらの最適化は、Prepare Memory、Compute Relevancy、Retrieval、Apply to Inferenceという4段階のメモリ処理パイプラインに統合できることを示す。 この知見に触発されて、textbheterogeneous システムはメモリ処理の高速化やエンドツーエンドの推論に適していると論じる。
  論文  参考訳（メタデータ） (2026-03-30T21:03:39Z)
• UCCL-EP: Portable Expert-Parallel Communication [34.712100988183174]
  DeepEPのような最先端のEP通信システムは強力な性能を示すが、異種GPUとNICプラットフォーム間のポータビリティは低い。 我々は、ヘテロジニアスGPUとNICハードウェア間でDeepEPレベルのパフォーマンスを実現するポータブルEP通信システムUCCL-EPを提案する。
  論文  参考訳（メタデータ） (2025-12-22T20:05:09Z)
• WarmServe: Enabling One-for-Many GPU Prewarming for Multi-LLM Serving [17.92164698813269]
  既存のマルチLLMサービスシステムは、より悪い推論性能でGPUの利用を最適化する。 我々は、将来のワークロードに関する知識を積んだモデルを読み込む1対多のGPUプリワームを可能にするために、普遍的なGPUワーカーを提案する。 WarmServeは、最先端のオートスケーリングベースのシステムと比較して、TTFTを最大50.8$timesで改善する。
  論文  参考訳（メタデータ） (2025-12-10T09:47:40Z)
• Minute-Long Videos with Dual Parallelisms [57.22737565366549]
  Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。 我々はDualParalと呼ばれる新しい分散推論戦略を提案する。 1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
  論文  参考訳（メタデータ） (2025-05-27T11:55:22Z)
• HeterMoE: Efficient Training of Mixture-of-Experts Models on Heterogeneous GPUs [26.00138507762884]
  HeterMoEは、異種GPU上でMoEモデルを効率的にトレーニングするシステムである。 HeterMoEは既存のMoEトレーニングシステムと比較して最大2.3倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-04-04T18:55:52Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Heterogeneous Acceleration Pipeline for Recommendation System Training [1.8457649813040096]
  レコメンデーションモデルは、ディープラーニングネットワークと大規模な埋め込みテーブルに依存している。 これらのモデルは一般的に、ハイブリッドGPUまたはGPUのみの設定を使用してトレーニングされる。 本稿ではヘテロジニアスなCPUアクセラレーションパイプラインであるHotlineを紹介する。
  論文  参考訳（メタデータ） (2022-04-11T23:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。