論文の概要: Democratizing MoE inference on commodity GPUs with CoMoE

• arxiv url: http://arxiv.org/abs/2610.09424v2
• Date: Fri, 09 Oct 2026 03:21:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.178714
• Title: Democratizing MoE inference on commodity GPUs with CoMoE
• Title（参考訳）: CoMoEを用いたコモディティGPUにおけるMoE推論の民主化
• Abstract要約: CoMoEは通信効率の良いMoE推論システムであり、新しいホスト中心のルーティングによってこのミスマッチを解決する。 CoMoEは推論スループットを最大1.46倍改善し、ハードウェアコストのわずか23.4%でNVLink対応のA800 GPUの性能にアプローチした。
• 参考スコア（独自算出の注目度）: 19.69511813731796
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deploying Mixture-of-Experts (MoE) models relies heavily on Expert Parallelism, which generates intense inter-GPU communication. Consequently, state-of-the-art inference systems require high-bandwidth, P2P interconnects (e.g., NVLink) in datacenter GPUs to handle massive token routing, making deployment prohibitively expensive. Consumer GPUs offer comparable compute power at significantly lower cost, promising to democratize MoE inference for individuals and enable privacy-preserving local deployments. However, their bandwidth-limited (only weak PCIe bus bandwidth) and host-mediated interconnects (no P2P support) introduce severe communication bottlenecks. We present CoMoE, a communication-efficient MoE inference system that resolves this mismatch through novel host-centric routing. Our key insight is that the unique communication topology provides the opportunity to elevate the host to an active routing hub, which can fundamentally reduce communication volume and eliminate global synchronization-induced stalls. Specifically, for token dispatch, we introduce host-backed token multicast to write shared tokens to the host exactly once, eliminating outbound transmission redundancy. For token combine, we propose a fine-grained, token-level aggregation mechanism using host staging buffers, which replaces rigid global synchronization and mitigates straggler effects. Evaluation on RTX 5090 GPUs shows that CoMoE improves inference throughput by up to 1.46x, approaching the performance of NVLink-capable A800 GPUs at only 23.4% of the hardware cost.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルのデプロイは、GPU間の激しい通信を生成するExpert Parallelismに大きく依存する。 その結果、最先端の推論システムでは、大規模なトークンルーティングを処理するために、データセンターGPU内の高帯域幅のP2P配線(例えばNVLink)が必要であるため、デプロイメントが違法に高価になる。 コンシューマGPUは、個人に対するMoE推論を民主化し、プライバシ保護のローカルデプロイメントを可能にすることを約束して、同等の計算パワーを極めて低コストで提供する。 しかし、その帯域幅制限(PCIeバス帯域幅の弱さのみ)とホスト経由の相互接続(P2Pサポートなし)は、深刻な通信ボトルネックをもたらす。 このミスマッチをホスト中心の新たなルーティングによって解決する通信効率の良いMoE推論システムであるCoMoEを提案する。 我々の重要な洞察は、ユニークな通信トポロジが、ホストをアクティブなルーティングハブに昇格させる機会を提供することである。 具体的には、トークンディスパッチにおいて、ホストに共有トークンを正確に1回書き込むためにホストバックのトークンマルチキャストを導入し、アウトバウンド送信冗長性を排除します。 トークン結合のために,ホストステージングバッファを用いた微細なトークンレベルのアグリゲーション機構を提案し,この機構は,厳密なグローバル同期を置き換え,ストラグラー効果を緩和する。 RTX 5090 GPUの評価によると、CoMoEは推論スループットを最大1.46倍改善し、ハードウェアコストのわずか23.4%でNVLink対応のA800 GPUの性能にアプローチしている。

関連論文リスト

• Efficient Expert-Parallel Communication on PCIe-Connected Consumer GPUs [11.902884895414006]
  エキスパート並列性(EP)は、複数のGPUに専門家を置くことで、大規模なMixture-of-Experts(MoE)モデルの推論を可能にする。 現在、このコミュニケーションは推測時間のごく一部を占める。 本稿では,従来のリングアルゴリズムのリレーホップを除去する新しい通信設計であるThunderEPを提案する。
  論文  参考訳（メタデータ） (2026-09-30T16:32:25Z)
• SparSP: Exploiting Communication Sparsity for Sequence-Parallel Video DiTs [5.098311200277286]
  拡散変換器はビデオ生成において支配的なアーキテクチャとなっている。 本稿では,注意空間をコミュニケーションプリミティブとして扱うべきであると論じる。 本稿では,効率的なスパースシーケンス並列通信システムであるSparSPを提案する。
  論文  参考訳（メタデータ） (2026-09-26T03:49:52Z)
• Gleam: Adaptive Network-Efficient CUDA API Remoting for Cross-Device GPU Sharing over LANs [27.795876706914857]
  本稿では、ローカルエリアネットワーク(LAN)内のデバイス間での計算および通信効率のよいGPU共有を実現することを目的とする。 本稿では,タスクジェネリックGPU共有のための新しい,ネットワーク効率の高いフレームワークであるGleamを提案する。 Gleemは最先端のベースラインを一貫して上回り、APIリモーティング効率の1.4～24.2倍の改善を実現している。
  論文  参考訳（メタデータ） (2026-07-25T09:06:47Z)
• Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
  本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。 主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。 実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
  論文  参考訳（メタデータ） (2026-05-25T10:39:28Z)
• ZipMoE: Efficient On-Device MoE Serving via Lossless Compression and Cache-Affinity Scheduling [56.88966608455977]
  ZipMoEはエッジデバイスのハードウェア特性とMoEパラメータ固有の統計的冗長性との相乗効果を利用する。 ZipMoEは72.77%の推論遅延低減と6.76タイムのスループットを実現している。
  論文  参考訳（メタデータ） (2026-01-29T02:51:59Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• FlashMoE: Fast Distributed MoE in a Single Kernel [1.866526462692252]
  FlashMoEは、専門家の計算とGPU間通信を単一の永続GPUカーネルに融合する、完全にGPU対応のMoE演算子である。 我々は、FlashMoEがGPU利用率を最大9倍、レイテンシを6倍、スループットを5.7倍、オーバーラップ効率を最先端のベースラインに比べて4倍向上することを示した。
  論文  参考訳（メタデータ） (2025-06-05T06:29:14Z)
• Minute-Long Videos with Dual Parallelisms [57.22737565366549]
  Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。 我々はDualParalと呼ばれる新しい分散推論戦略を提案する。 1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
  論文  参考訳（メタデータ） (2025-05-27T11:55:22Z)
• Scaling Large Language Model Training on Frontier with Low-Bandwidth Partitioning [2.685330831042324]
  通信コストを削減し,メモリ使用量を改善するため,ZeRO++の通信と最適化戦略の集合を提案する。 20B GPTモデルでは、ZeRO++の最大384 GCDと比較して1.71倍のTFLOPS増加、最大384 GCDのスケーリング効率は0.94である。
  論文  参考訳（メタデータ） (2025-01-08T04:19:57Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。