論文の概要: FastEEP: Fast Intra-Instance Elastic Scaling for Expert-Parallel MoE Serving

• arxiv url: http://arxiv.org/abs/2610.18451v1
• Date: Tue, 13 Oct 2026 14:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:19:15.141745
• Title: FastEEP: Fast Intra-Instance Elastic Scaling for Expert-Parallel MoE Serving
• Title（参考訳）: FastEEP: エキスパート並列MoEサービングのための高速なインスタンス内Elastic Scaling
• Abstract要約: 本稿では、部分再利用の原理に基づくMoEサービスのための高速なインスタンス内スケーリングシステムであるFastEEPを提案する。 FastEEPは、ワーカー実行、GPUメモリ、通信を通じて既存の状態ランタイムを再利用し、現在のEP設定によって起動されるリソースから再利用可能な実行構造を分離する。 我々の評価によると、FastEEPは既存のvLLMベースのアプローチよりも4.5x--11.7倍高速なスケーリングを実現している。
• 参考スコア（独自算出の注目度）: 6.024593166650297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale expert parallelism (EP) has become the standard deployment configuration for Mixture-of-Experts (MoE) models in production. Meanwhile, the highly dynamic nature of LLM workloads requires providers to continuously adjust serving capacity to match fluctuating demand. Scaling MoE serving cannot be efficiently achieved by simply adding or removing serving instances; instead, it often requires resizing the EP group within an existing instance, which we refer to as intra-instance scaling.Existing inference engines primarily rely on instance-level scaling, which destroys and reconstructs entire serving instances, incurring substantial scaling overhead. We present FastEEP (Fast Elastic Expert Parallel), a fast intra-instance scaling system for MoE serving based on the principle of Partial Reuse. FastEEP reuses existing runtime state across worker execution, GPU memory, and communication by separating reusable execution structures from the resources activated by the current EP configuration. This separation enables coordinated resource reclamation and reconfiguration while preserving costly-to-reconstruct state, allowing fast EP scaling without full instance teardown and reconstruction. Our evaluation shows that FastEEP achieves 4.5x--11.7x faster scaling than the existing vLLM-based approach across different models, enabling efficient, fine-grained scaling of MoE serving.
• Abstract（参考訳）: 大規模エキスパート並列性(EP)は、実運用におけるMixture-of-Experts(MoE)モデルの標準配置構成となっている。 一方、LLMワークロードの非常にダイナミックな性質は、需要変動に合わせてサービス容量を継続的に調整する必要がある。 既存の推論エンジンは、主にインスタンスレベルのスケーリングに依存しており、サービスインスタンス全体を破壊、再構築し、相当なスケーリングオーバーヘッドを発生させる。 我々は, 部分再利用の原理に基づくMoEサービスのための高速なインスタンス内スケーリングシステムであるFastEEP(Fast Elastic Expert Parallel)を提案する。 FastEEPは、ワーカー実行、GPUメモリ、通信を通じて既存のランタイム状態を再利用し、現在のEP設定によって起動されるリソースから再利用可能な実行構造を分離する。 この分離により、コストのかかる再構築状態を保ちながら、リソースの調整と再構成の調整が可能となり、全インスタンスの分解や再構築なしに高速なEPスケーリングが可能となる。 我々の評価では、FastEEPは既存のvLLMベースのアプローチよりも4.5x--11.7倍高速なスケーリングを実現し、MoEサービスの効率的なきめ細かなスケーリングを可能にしている。

関連論文リスト

• Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs [50.677556944160216]
  MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。 コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
  論文  参考訳（メタデータ） (2026-08-22T00:01:18Z)
• Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations [53.53864188270018]
  大規模言語モデル(LLM)には高度なレコメンデーションシステム(RS)がある。 LLMのモジュラリティを明示的に制御するための MARC を提案する。 MARCは大規模な商用検索広告シナリオにおけるオンラインA/Bテストで2.82%のeCPMリフトを達成した。
  論文  参考訳（メタデータ） (2026-04-20T12:08:58Z)
• Dynamic Expert Quantization for Scalable Mixture-of-Experts Inference [2.649774320778185]
  我々は、専門家の精度を第一級、動的に管理されるリソースとして扱うランタイムシステムDynaExqを提案する。 我々は,DynaExqが5090とA6000のGPU上で大きなLLMをデプロイし,静的な低精度ベースラインに対して最大4.03ポイントの精度向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-19T01:27:54Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• ElasticMM: Efficient Multimodal LLMs Serving with Elastic Multimodal Parallelism [9.93378263858092]
  マルチモーダル大言語モデル(MLLM)は、特徴抽出器とプロジェクションモジュールを組み込むことで、画像、ビデオ、オーディオを扱う。 現在の密結合のサービスアーキテクチャは、混合要求タイプを区別するのに苦労しています。 本稿では,リソースの不均一性に弾力的に適応する新しいサービスパラダイムであるElastic Multimodal Parallelism(EMP)を紹介する。
  論文  参考訳（メタデータ） (2025-07-14T08:53:48Z)
• LoongServe: Efficiently Serving Long-Context Large Language Models with Elastic Sequence Parallelism [12.521026493432181]
  既存の大規模言語モデル(LLM)は、異なるフェーズにおける可変長要求を効率的に提供できない。 本稿では,異なる要求と位相の分散に対応するために,新しい並列性パラダイムである弾性列並列性(ESP)を提案する。 LoongServeは、チャンクプレフィルと比較して最大スループットを最大3.85$times$、プリフィルデコードデアグリゲーションと比較して5.81$times$に改善する。
  論文  参考訳（メタデータ） (2024-04-15T07:45:04Z)
• Pipeline MoE: A Flexible MoE Implementation with Pipeline Parallelism [91.9372563527801]
  既存のMoEモデルは、膨大な内部ノードとノード間通信オーバーヘッドに悩まされる。 本稿では,新しいMoEアーキテクチャであるPipeline MoE(PPMoE)を提案する。 PPMoEは、テンソル並列を組み込んだ専門家の並列処理を構築し、通信集約型の全対一のディスパッチとコレクションを置き換える。
  論文  参考訳（メタデータ） (2023-04-22T14:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。