論文の概要: FluxMoE: Decoupling Expert Residency for High-Performance MoE Serving

• arxiv url: http://arxiv.org/abs/2604.02715v1
• Date: Fri, 03 Apr 2026 04:16:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.319991
• Title: FluxMoE: Decoupling Expert Residency for High-Performance MoE Serving
• Title（参考訳）: FluxMoE: 高性能なMoEを実現するためのエキスパートレジデンシーの分離
• Authors: Qingxiu Liu, Cyril Y. He, Hanser Jiang, Zion Wang, Alan Zhao, Patrick P. C. Lee,
• Abstract要約: FluxMoEは、永続的なGPU常駐から専門家パラメータを分離する新しいMoE推論システムである。 本稿では,vLLM上にFluxMoEを実装し,メモリの厳しい制約下での効率的なMoE推論を実現する。
• 参考スコア（独自算出の注目度）: 8.578700312537743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models have become a dominant paradigm for scaling large language models, but their rapidly growing parameter sizes introduce a fundamental inefficiency during inference: most expert weights remain idle in GPU memory while competing with performance-critical runtime state such as the key-value (KV) cache. Since KV cache capacity directly determines serving throughput, this mismatch leads to underutilized memory and degraded performance. In this paper, we present FluxMoE, a new MoE inference system that decouples expert parameters from persistent GPU residency. FluxMoE introduces an expert paging abstraction that treats expert weights as streamed, transient resources, materializing them on demand and evicting them immediately after use, allowing GPU memory to be preferentially allocated to throughput-critical runtime state. We implement FluxMoE atop vLLM to enable efficient MoE inference under severe memory constraints. Experimental results demonstrate that FluxMoE achieves up to 3.0$\times$ throughput gains over vLLM in memory-intensive regimes, without compromising model fidelity.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、大規模な言語モデルのスケーリングにおいて主要なパラダイムとなっているが、その急速に増加するパラメータサイズは、推論中に根本的な非効率性をもたらす。 KVキャッシュ容量は直接サービススループットを決定するため、このミスマッチは未使用のメモリと性能低下につながる。 本稿では、GPU常駐から専門家パラメータを分離する新しいMoE推論システムであるFluxMoEを提案する。 FluxMoEは、専門家によるページングの抽象化を導入し、専門家の重みをストリーム化され、過渡的なリソースとして扱い、需要に応じてそれを実体化し、使用直後にそれを排除し、GPUメモリをスループットクリティカルなランタイム状態に優先的に割り当てることを可能にする。 本稿では,vLLM上にFluxMoEを実装し,メモリの厳しい制約下での効率的なMoE推論を実現する。 実験結果から,FluxMoEは最大3.0$\times$スループットが,メモリ集約型システムにおいて,モデルの忠実度を損なうことなく,vLLM以上のスループットを得ることが示された。

関連論文リスト

• ZipMoE: Efficient On-Device MoE Serving via Lossless Compression and Cache-Affinity Scheduling [56.88966608455977]
  ZipMoEはエッジデバイスのハードウェア特性とMoEパラメータ固有の統計的冗長性との相乗効果を利用する。 ZipMoEは72.77%の推論遅延低減と6.76タイムのスループットを実現している。
  論文  参考訳（メタデータ） (2026-01-29T02:51:59Z)
• FlashMoE: Reducing SSD I/O Bottlenecks via ML-Based Cache Replacement for Mixture-of-Experts Inference on Edge Devices [0.0]
  Mixture-of-Experts (MoE)モデルは、大規模言語モデルを効率的にスケールするために注目を集めている。 MoEモデルは極めて大きく、そのスパースアクティベーションは、一度にモデルのごく一部にアクセスすることで推論を行うことができる。 SSDに非アクティブな専門家をオフロードするシステムであるFlashMoEを提案する。
  論文  参考訳（メタデータ） (2026-01-22T17:07:33Z)
• Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference [16.71963410333802]
  大規模言語モデル(LLM)は、多様な人工知能タスクで顕著な成功を収めている。 MoCは、事前トレーニング中のアクティベーションメモリを大幅に削減する。 MoCは、競合モデルのパフォーマンスを維持しながら、メモリの大幅な節約とスループットの向上を提供する。
  論文  参考訳（メタデータ） (2025-11-12T13:30:57Z)
• Mixture of Lookup Experts [63.787712153454464]
  Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。 MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
  論文  参考訳（メタデータ） (2025-03-20T02:31:57Z)
• ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
  複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
  論文  参考訳（メタデータ） (2025-03-10T03:15:54Z)
• Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading [7.9192039061119255]
  FineMoEは、MoEサービスのためのきめ細かい専門家のオフロードシステムである。 FineMoEは推論遅延を47%削減し、最先端ソリューションよりもエキスパートのヒット率を39%向上させる。
  論文  参考訳（メタデータ） (2025-02-07T22:51:17Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference [23.207326766883405]
  Mixture-of-Experts (MoE)は、計算要求を比例的にスケールアップすることなく、モデルサイズをスケールすることができる。 プレゲートMOEは、スパース専門家活性化の動的性質を緩和する新しいプレゲート機能を用いている。 我々は、Pre-gated MoEが、同じレベルのモデル品質を維持しながら、パフォーマンスを改善し、GPUメモリ消費を減らすことを実証した。
  論文  参考訳（メタデータ） (2023-08-23T11:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。