論文の概要: ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving

• arxiv url: http://arxiv.org/abs/2606.00735v1
• Date: Sat, 30 May 2026 13:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.680496
• Title: ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving
• Title（参考訳）: ViBE: ワークロードスキューの最適化とMoEサービングのハードウェア可変性
• Abstract要約: 分散Mixture-of-Experts(MoE)推論では、入力依存トークンルーティングはGPUのパフォーマンス変動と相互作用し、永続的なストラグラーを生成する。 本稿では,ハードウェア対応のエキスパート配置フレームワークViBEを提案する。 ViBEは継続して実行時の不均衡を減らし、SLO達成率を14%改善し、P90 TTFTを最大45%低下させる。
• 参考スコア（独自算出の注目度）: 1.762489674620728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In distributed Mixture-of-Experts (MoE) inference, input-dependent token routing interacts with GPU performance variability to create persistent stragglers under synchronized execution, where the slowest GPU determines layer latency. This performance variability is inherent to modern accelerators: manufacturing variation, power limits, and thermal conditions introduce measurable execution-time differences across nominally identical GPUs. The core challenge is that MoE execution-time imbalance arises from the interaction of workload skew and hardware asymmetry. Token routing produces uneven and layer-varying expert loads, while GPU throughput depends on device-specific operating characteristics and workload intensity. Prior work mitigates routing skew but assumes homogeneous hardware, optimizing token balance rather than execution latency. As a result, even balanced token assignments can leave hardware-induced stragglers unaddressed. Thus, we propose Variability-Informed Binning of Experts (ViBE), a hardware-aware expert placement framework that minimizes execution-time imbalance across GPUs. ViBE combines per-GPU performance modeling with expert activation profiling to assign high-load experts to faster devices and low-load experts to slower ones, reducing layer-level stragglers without modifying model semantics or hardware. Because both workload characteristics and effective GPU throughput can shift across serving conditions, ViBE supports lightweight recalibration under workload/performance drift to refresh its routing and performance estimates when needed. Results show that ViBE consistently reduces execution-time imbalance and improves SLO attainment by 14%, while lowering P90 TTFT by up to 45%. We further show that the impact of hardware variability increases at scale, making variability-aware placement important for efficient, high-utilization LLM serving.
• Abstract（参考訳）: 分散Mixture-of-Experts(MoE)推論では、入力依存トークンルーティングがGPUパフォーマンスの変動と相互作用し、同期実行下で永続的なストラグラーを生成する。 製造のバリエーション、電力制限、温度条件は、名目上は同一のGPU間で測定可能な実行時間差をもたらす。 主な課題は、負荷スキューとハードウェア非対称性の相互作用からMoEの実行時間不均衡が発生することである。 一方、GPUスループットはデバイス固有の動作特性とワークロードの強度に依存する。 以前の作業はルーティングスキューを緩和するが、均一なハードウェアを前提として、実行レイテンシよりもトークンバランスを最適化する。 結果として、バランスの取れたトークンの割り当てでさえ、ハードウェアによって引き起こされるストラグラーをそのままにしておくことができる。 そこで本研究では,GPU間の実行時間不均衡を最小限に抑えるハードウェア対応のエキスパート配置フレームワークViBEを提案する。 ViBEはGPU毎のパフォーマンスモデリングとエキスパートアクティベーションプロファイリングを組み合わせて、高速なデバイスに高負荷の専門家を割り当て、低負荷の専門家を遅くすることで、モデルセマンティクスやハードウェアを変更することなく、階層レベルのストラグラーを削減する。 ワークロード特性と効率的なGPUスループットの両方がサービス条件によってシフト可能であるため、ViBEはワークロード/パフォーマンスドリフト下での軽量リカバリをサポートし、必要に応じてルーティングとパフォーマンス見積をリフレッシュする。 その結果、ViBEは実行時不均衡を持続的に低減し、SLO達成率を14%改善し、P90 TTFTを最大45%低下させた。 さらに, ハードウェアの変動性の影響が増大し, 効率よく高効率なLCMサービスを実現する上で, 可変性を考慮した配置が重要となることを示す。

関連論文リスト

• Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators [1.9955035892352748]
  大規模言語モデル(LLM)は、レイテンシとコストに敏感な設定にますますデプロイされている。 最近の推論システムは、実行をプリフィルとデコードフェーズに分解し、異なる計算特性を示す。 本稿では、一般的なモデルであるLlama2-7Bを用いて、GPUおよび新興AIアクセラレータ間でのLLM推論性能の位相認識評価を行う。
  論文  参考訳（メタデータ） (2026-06-14T12:23:29Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Spava: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention [63.69228529380251]
  Spavaはシーケンス並列フレームワークで、ロングビデオ推論に最適化されている。 Spavaは、FlashAttn、ZigZagRing、APBで12.72x、1.70x、1.18xのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-29T09:23:13Z)
• Characterizing the Efficiency of Distributed Training: A Power, Performance, and Thermal Perspective [6.51239603014107]
  大規模言語モデル(LLM)は、単一ノード分析の限界を超えて、トレーニングワークロードを推し進めている。 様々な実世界のワークロードとハードウェアプラットフォームにわたるLLMトレーニングの包括的特徴について述べる。
  論文  参考訳（メタデータ） (2025-09-12T16:05:07Z)
• Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
  エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。 PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
  論文  参考訳（メタデータ） (2025-07-09T07:27:18Z)
• QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge [55.75103034526652]
  ASIC のハードウェアアクセラレーションによる MDE モデルの定量化を後学習量子化に応用した QuartDepth を提案する。 提案手法では,重みとアクティベーションの両方を4ビット精度で定量化し,モデルサイズと計算コストを削減する。 我々は、カーネル融合とカスタマイズされた命令プログラム性をサポートすることにより、フレキシブルでプログラム可能なハードウェアアクセラレータを設計する。
  論文  参考訳（メタデータ） (2025-03-20T21:03:10Z)
• MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing [0.6445605125467574]
  Mixture-of-Experts (MoE)モデルアーキテクチャは、トランスフォーマーモデルを効率的にスケーリングするための有望なソリューションとして登場した。 MoEモデルはGPUデバイスに分散する必要があるため、重要なパフォーマンスボトルネックに直面している。 本稿では,トークンルーティングコストとデバイス間のトークン処理バランスを最小化する,最適専門家対GPU割り当てを提案する。
  論文  参考訳（メタデータ） (2025-02-10T16:34:36Z)
• Dovetail: A CPU/GPU Heterogeneous Speculative Decoding for LLM inference [31.901686946969786]
  Dovetailは異種デバイスの相補的特性と投機的復号化の利点を利用する推論手法である。 Dovetailは、異なるデバイス間で1.79xから10.1xまでの推論スピードアップを実現し、生成したテキストの一貫性と安定性を維持している。
  論文  参考訳（メタデータ） (2024-12-25T15:45:18Z)
• Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
  Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。 DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。 我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:28:10Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction [67.11722682878722]
  この研究は、新しいマルチスケール線形注意を持つ高解像度ビジョンモデルのファミリーであるEfficientViTを提示する。 マルチスケール線形注意は,グローバルな受容場とマルチスケール学習を実現する。 EfficientViTは従来の最先端モデルよりも優れたパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-05-29T20:07:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。