論文の概要: Efficient CPU-GPU collaborative MoE inference via Adaptive Expert Assignment

• arxiv url: http://arxiv.org/abs/2610.23006v1
• Date: Fri, 16 Oct 2026 06:31:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.796068
• Title: Efficient CPU-GPU collaborative MoE inference via Adaptive Expert Assignment
• Title（参考訳）: 適応的エキスパートアサインメントによるCPU-GPU協調MoE推論の効率化
• Abstract要約: Mixture-of-Experts(MoE)モデルは、スパース専門家のアクティベーションを通じて推論を減らすが、その大きな専門家のメモリフットプリントはGPUのキャパシティを超えることが多い。 MethodはCPUとGPUの協調型MoE推論システムで、これらの欠落した専門家をCPUまたはGPUに適応的に割り当てて効率的な実行を行う。 メソッドはプレフィル速度を最大51.9%改善し、評価されたバッチサイズで最強のベースライン上で最大39.5%のスループットをデコードする。
• 参考スコア（独自算出の注目度）: 19.477515544969716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) models reduce inference computation through sparse expert activation, but their large expert memory footprint often exceeds GPU capacity, making expert offloading necessary for memory-constrained inference. However, existing systems typically handle GPU-missed experts by either transferring them to the GPU, incurring substantial PCIe transfer latency, or executing them on the CPU, making the slower CPU computation the bottleneck. To address these limitations, we present \method, a CPU-GPU collaborative MoE inference system that adaptively assigns these missed experts to the CPU or GPU for efficient execution. By exploiting differences in expert token-loads, \method selectively transfers high-load experts to the GPU while executing low-load experts on the CPU. To minimize inference latency, \method adaptively adjusts expert assignments to balance the CPU computation path against the GPU transfer-and-computation path, allowing both execution paths to complete as early as possible. Extensive experiments on three representative MoE LLMs show that \method improves prefill speed by up to 51.9\% and decode throughput by up to 39.5\% over the strongest baseline across the evaluated batch sizes, with consistent gains under different GPU-memory budgets.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、スパース専門家のアクティベーションを通じて推論計算を減らすが、その大きな専門家のメモリフットプリントはGPUキャパシティを超えることが多く、メモリ制約の推論に専門家のオフロードが必要になる。 しかし、既存のシステムは、GPUに転送し、かなりのPCIe転送遅延を発生させるか、CPU上で実行することにより、GPUが欠落した専門家を処理し、CPUの計算が遅くなる。 これらの制限に対処するため,CPU-GPU協調型MoE推論システムであるShamethodを提案する。 専門家のトークン-ロードの違いを利用することで、高負荷の専門家をGPUに選択的に転送し、CPU上で低負荷の専門家を実行する。 推論レイテンシを最小限にするため、Shamethodは専門家の割り当てを適応的に調整し、CPU計算パスとGPU転送と計算パスのバランスをとる。 3つの代表的MoE LLMの大規模な実験によると、‘method’はプリフィル速度を51.9\%改善し、評価されたバッチサイズで最強のベースライン上で最大39.5\%デコードする。

関連論文リスト

• Efficient Expert-Parallel Communication on PCIe-Connected Consumer GPUs [11.902884895414006]
  エキスパート並列性(EP)は、複数のGPUに専門家を置くことで、大規模なMixture-of-Experts(MoE)モデルの推論を可能にする。 現在、このコミュニケーションは推測時間のごく一部を占める。 本稿では,従来のリングアルゴリズムのリレーホップを除去する新しい通信設計であるThunderEPを提案する。
  論文  参考訳（メタデータ） (2026-09-30T16:32:25Z)
• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• CoX-MoE: Coalesced Expert Execution for High-Throughput MoE Inference with AMX-Enabled CPU-GPU Co-Execution [6.04230666444406]
  CoX-MoEは、AMX(Advanced Matrix Extensions)対応のCPU-GPU協調システムである。 MoE推論を総合的に最適化するために、合体したエキスパート実行と、高いスループットのために戦略的ワークロードオーケストレーションを組み合わせる。 最先端のフレームワークと比較して、CoX-MoEは7.1倍、2.4倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-05-18T05:54:30Z)
• Speculating Experts Accelerates Inference for Mixture-of-Experts [44.31811859704714]
  Mixture-of-Experts (MoE)モデルは、大規模言語モデル(LLM)のキャパシティを拡大する手段として人気を集めている。 本稿では、現在計算されている内部モデル表現を活用して、将来の専門家を推測するエキスパートプレフェッチ方式を提案する。 提案手法は,CPUメモリからのエキスパートのオンデマンドロードよりも,出力トークン当たりの最大14%の時間短縮を実現する。
  論文  参考訳（メタデータ） (2026-03-09T06:59:47Z)
• Spava: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention [63.69228529380251]
  Spavaはシーケンス並列フレームワークで、ロングビデオ推論に最適化されている。 Spavaは、FlashAttn、ZigZagRing、APBで12.72x、1.70x、1.18xのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-29T09:23:13Z)
• Mixture of Lookup Experts [63.787712153454464]
  Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。 MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
  論文  参考訳（メタデータ） (2025-03-20T02:31:57Z)
• DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference [14.676716521856813]
  Mixture-of-Experts (MoE)モデルは、メモリ制限されたデバイスにおいて、重大なデプロイメント上の課題に直面している。 並列GPU-CPU実行を最適化するデバイス上でのMoE推論エンジンである presentP を提案する。 Pは従来のエキスパートキャッシングとプリフェッチの手法を最大8.20倍、オフロード技術は1.35倍、精度は維持する。
  論文  参考訳（メタデータ） (2024-12-16T07:59:21Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。