論文の概要: Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement
- arxiv url: http://arxiv.org/abs/2607.08782v1
- Date: Sat, 13 Jun 2026 04:31:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-19 21:54:20.354149
- Title: Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement
- Title（参考訳）: ディレクター: オンラインのプロアクティブなエキスパートプレースメントを通じて分散MoEサービングを加速
- Abstract要約: Directorは、予測駆動のエキスパート配置によるエンドツーエンドのレイテンシを最小限にする、新しい分散MoEサービスシステムである。
プロトタイプを実装して、大規模な実験を通じて、人気のあるMoEモデルに対して、エンドツーエンドのレイテンシを11sim55%削減したことを実証する。
- 参考スコア（独自算出の注目度）: 24.858126206720105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expert parallelism has become the prevailing paradigm to serve Mixture-of-Experts (MoE) models. Its efficiency depends on the communication and computation latencies of the GPUs, which are linked to the placement of experts in the GPUs. Existing works for optimizing expert placement focus on leveraging past requests' expert activation patterns. However, they demonstrate deficiencies facing diverse and rapidly changing request patterns, calling for an online, proactive approach. Implementing such an approach requires addressing several challenges: the uncertainty associated with incoming requests' expert activation, the cost of expert migration, and the NP-hard complexity in optimization. Therefore, we present Director, a new distributed MoE serving system that minimizes end-to-end latency via prediction-driven, online expert placement. Director uses either a lightweight cascaded predictor or a low-bit quantized replica for expert activation patterns of incoming requests. An online migration module then enacts the changes with near-zero downtime by executing migrations in compute-bound phases, keeping disruption bounded. At its core, a relaxation-based expert placement optimizer operates under capacity constraints, runs in polynomial time, and achieves a $(1+ε)$ approximation ratio. Finally, we implement a prototype and demonstrate, through extensive experiments, a reduction in end-to-end latency of $11\sim55\%$ for popular MoE models (e.g., Mistral, DeepSeek and Qwen) compared to existing work.
- Abstract（参考訳）: エキスパート並列性は、Mixture-of-Experts(MoE)モデルを提供するための一般的なパラダイムとなっている。
その効率はGPUの通信と計算のレイテンシに依存する。
既存の作業は、専門家の配置を最適化するために、過去の要求のエキスパートアクティベーションパターンを活用することに重点を置いています。
しかし、多様で急速に変化する要求パターンに直面する欠陥を示し、オンラインの積極的なアプローチを要求している。
このようなアプローチを実装するには、受信要求のエキスパートアクティベーションに関連する不確実性、専門家マイグレーションのコスト、最適化におけるNPハードの複雑さなど、いくつかの課題に対処する必要がある。
そこで我々は,予測駆動型オンライン専門家配置によるエンドツーエンドのレイテンシを最小化する分散MoEサービスシステムであるDirectorを提案する。
Directorは軽量のカスケード予測器か、受信リクエストのエキスパートアクティベーションパターンに低ビットの量子化レプリカを使用する。
オンライン移行モジュールは、計算バウンドフェーズでのマイグレーションを実行し、障害を境界に保ちながら、ほぼゼロのダウンタイムで変更を実行する。
その中核は、緩和に基づく専門家配置最適化器が容量制約の下で動作し、多項式時間で動作し、近似比が(1+ε)$である。
最後に、プロトタイプを実装し、広範囲な実験を通じて、一般的なMoEモデル(例えば、Mistral、DeepSeek、Qwen)のエンドツーエンドのレイテンシを、既存の作業と比較して1,11\sim55\%削減したことを実証する。
関連論文リスト
- A Spatio-Temporal Expert Prefetching Framework for Efficient MoE-based LLM Inference [10.085075886001665]
最近,Mixture-of-Experts (MoE) ベースの大規模言語モデル (LLM) が,計算コストを比例的に増加させることなく,モデルキャパシティを向上させる効果的なアプローチとして登場した。
本稿では,ST-MoEを提案する。ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE,ST-MoE。
論文 参考訳（メタデータ） (2026-06-13T20:09:54Z) - MoEless: Efficient MoE LLM Serving via Serverless Computing [14.858661450986794]
MoElessは、専門家の負荷不均衡を緩和し、サーバーレスの専門家による推論を加速する、最初のサーバレスMoEサービスフレームワークである。
MoElessは軽量で層対応の予測器を使用して、入ってくる専門家の負荷分布を正確に推定し、ストラグラーを積極的に識別する。
MoElessは、最先端のソリューションと比較して、推論レイテンシを43%削減し、推論コストを84%削減する。
論文 参考訳（メタデータ） (2026-03-06T14:58:16Z) - Climber-Pilot: A Non-Myopic Generative Recommendation Model Towards Better Instruction-Following [19.550149895505683]
Climber-Pilotは統合された生成検索フレームワークである。
TAMIP(Time-Aware Multi-Item Prediction)は、遺伝的検索において固有の近視を緩和する新しいトレーニングパラダイムである。
また,ビジネス制約をスパース・アテンションを介して生成プロセスに直接組み込むコンディションガイド付きスパース・アテンション(CGSA)を提案する。
論文 参考訳（メタデータ） (2026-02-14T03:46:06Z) - SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。
プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。
また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
論文 参考訳（メタデータ） (2026-02-02T11:47:06Z) - Cluster Topology-Driven Placement of Experts Reduces Network Traffic in MoE Inference [49.141930185079325]
提案する整数線形プログラム(ILP)は,期待される送信数を最小限に抑え,専門家の最適な配置を決定する。
ILPベースの配置戦略は,小型モデル(DeepSeekMoE16B)や大規模モデル(DeepSeek-R1671B)と比較してネットワークトラフィックが低いことを示す。
論文 参考訳（メタデータ） (2025-08-12T07:08:48Z) - Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
本研究では任意のプロンプトの反復的近似評価について検討する。
Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。
MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
論文 参考訳（メタデータ） (2025-07-07T03:20:52Z) - DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。
我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。
LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-02-18T02:37:26Z) - MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing [0.6445605125467574]
Mixture-of-Experts (MoE)モデルアーキテクチャは、トランスフォーマーモデルを効率的にスケーリングするための有望なソリューションとして登場した。
MoEモデルはGPUデバイスに分散する必要があるため、重要なパフォーマンスボトルネックに直面している。
本稿では,トークンルーティングコストとデバイス間のトークン処理バランスを最小化する,最適専門家対GPU割り当てを提案する。
論文 参考訳（メタデータ） (2025-02-10T16:34:36Z) - HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。
キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。
HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-11-03T04:25:46Z) - AdapMoE: Adaptive Sensitivity-based Expert Gating and Management for Efficient MoE Inference [13.263938935671646]
AdapMoEは、効率的なMoE推論のためのアルゴリズムとシステムの共同設計フレームワークである。
AdapMoEは、オンデマンドのロードオーバーヘッドを減らすために、アダプティブなエキスパートゲーティングと管理機能を備えている。
AdapMoEは既存の技術より一貫して優れており、アクティベートされた専門家の平均数が25%減少し、精度を低下させることなく1.35倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2024-08-19T03:27:15Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。