論文の概要: OLED-MoE: Accelerating MoE-Based dLLM Inference via Inter-Iteration Locality-Aware Expert Offloading

• arxiv url: http://arxiv.org/abs/2609.33385v1
• Date: Sun, 27 Sep 2026 09:05:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:28:46.936442
• Title: OLED-MoE: Accelerating MoE-Based dLLM Inference via Inter-Iteration Locality-Aware Expert Offloading
• Title（参考訳）: OLED-MoE:Iteration Locality-Aware Expert OffloadingによるMoEベースのdLLM推論の高速化
• Abstract要約: OLED-MoEは、最適化対象をイテレーション内プリフェッチからインターイテレーション専門家の保持に移行するエキスパートオフロードシステムである。 出力トークン当たりの時間(TPOT)を1.23x-7.93x削減し、最先端のオフロードシステム上でのエキスパートキャッシュ使用率を1.44x-4.23x改善する。
• 参考スコア（独自算出の注目度）: 13.280144416122942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-autoregressive diffusion large language models (dLLMs) improve decoding parallelism through iterative block-wise denoising, but scaling them with mixture-of-experts (MoE) layers introduces a large expert parameter footprint that exceeds memory-constrained GPU capacity. Expert offloading is a natural remedy, yet existing MoE serving systems target autoregressive decoding and rely on intra-iteration layer-wise prefetching: while computing one layer, they predict and load experts for subsequent layers. Under dLLM inference, block-wise routing expands the active expert working set within each iteration, making such prefetches difficult to complete in time and costly when mispredicted. Consequently, existing prefetch-based solutions often degenerate into on-demand expert loading with high decoding latency. We propose OLED-MoE, an expert offloading system that shifts the optimization target from intra-iteration prefetching to inter-iteration expert retention. Its key insight is that adjacent denoising iterations exhibit strong expert routing overlap, and token confidence indicates which experts are likely to be reused. OLED-MoE uses confidence-guided inter-iteration prediction to retain high-value experts in GPU memory without introducing extra prefetch traffic. It further compensates unavoidable cache misses through CPU-GPU cooperative execution, jointly considering dynamic expert computation load and predicted future reuse. Across diverse dLLM workloads, OLED-MoE reduces time per output token (TPOT) by 1.23x-7.93x and improves expert cache utilization by 1.44x-4.23x over state-of-the-art offloading systems. Notably, OLED-MoE approaches full-residency performance while using only 40% of the expert GPU memory, incurring merely 23% higher TPOT despite a 60% reduction in expert memory footprint. OLED-MoE's source code is publicly available at https://github.com/flashserve/OLED-MoE.
• Abstract（参考訳）: 半自己回帰拡散大言語モデル(dLLMs)は、繰り返しブロックワイズによる並列化を改善するが、ME(mixed-of-experts)層でスケールすることで、メモリ制約GPU容量を超える大きなパラメータフットプリントを導入する。 エキスパートのオフロードは自然な対策だが、既存のMoEサービスシステムは自動回帰デコーディングをターゲットとし、イテレーション層内でのプリフェッチに依存している。 dLLM推論の下では、ブロックワイドルーティングは各イテレーション内でアクティブな専門家作業セットを拡張するため、予測ミスが発生した場合、そのようなプレフィックスを時間とコストで完了させることが難しくなる。 その結果、既存のプリフェッチベースのソリューションは、高い復号レイテンシでオンデマンドのエキスパートローディングに縮退することが多い。 本稿では,最適化対象をイテレーション内プレフェッチからイテレーション間エキスパート保持に移行するエキスパートオフロードシステムであるOLED-MoEを提案する。 そのキーとなる洞察は、隣接するデノナイジングイテレーションは、強力な専門家のルーティングオーバーラップを示し、トークンの信頼性は、どの専門家が再利用される可能性が高いかを示しています。 OLED-MoEは、信頼誘導によるインターイテレーション予測を使用して、追加のプリフェッチトラフィックを導入することなく、GPUメモリの高価値専門家を維持する。 さらに、CPU-GPU協調実行を通じて、動的専門家計算負荷と将来の再利用を予測することで、避けられないキャッシュミスを補償する。 多様なdLLMワークロード全体にわたって、OLED-MoEは出力トークン当たりの時間(TPOT)を1.23x-7.93x削減し、最先端のオフロードシステムに対して1.44x-4.23xのエキスパートキャッシュ使用率を改善する。 特にOLED-MoEは、専門家のGPUメモリの40%しか使用せず、専門家のメモリフットプリントが60%削減されているにもかかわらず、TPOTがわずか23%高いだけである。 OLED-MoEのソースコードはhttps://github.com/flashserve/OLED-MoEで公開されている。

関連論文リスト

• Fast MoE Inference via Predictive Prefetching and Expert Replication [7.16306807191389]
  MoE推論は、最適化されたGPU利用、ロード不均衡、複数のトークンから発生したレイテンシの上昇に悩まされる。 我々は、どの専門家がオーバーロードされるかを予測する動的専門家レプリケーション戦略を提案し、今後のトークンバッチのためにそれらを複製する。 複製された専門家は、並列処理の改善、GPUアイドル時間の短縮、推論の大幅な高速化につながる、レイヤ間でバッチトークンを同時に処理する。
  論文  参考訳（メタデータ） (2026-05-12T05:03:53Z)
• Speculating Experts Accelerates Inference for Mixture-of-Experts [44.31811859704714]
  Mixture-of-Experts (MoE)モデルは、大規模言語モデル(LLM)のキャパシティを拡大する手段として人気を集めている。 本稿では、現在計算されている内部モデル表現を活用して、将来の専門家を推測するエキスパートプレフェッチ方式を提案する。 提案手法は,CPUメモリからのエキスパートのオンデマンドロードよりも,出力トークン当たりの最大14%の時間短縮を実現する。
  論文  参考訳（メタデータ） (2026-03-09T06:59:47Z)
• MoBiLE: Efficient Mixture-of-Experts Inference on Consumer GPU with Mixture of Big Little Experts [17.518573710849513]
  MoBiLEは、プラグイン・アンド・プレイのオフロードベースのMoE推論フレームワークで、大手専門家のテキストミキサーを備えている。 MoBiLEは、コンシューマGPUシステムのベースラインと比較して1.60倍から1.72倍のスピードアップを実現し、精度の劣化は無視できる。
  論文  参考訳（メタデータ） (2025-10-14T10:22:44Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• Accelerating Mixture-of-Expert Inference with Adaptive Expert Split Mechanism [29.862588578556366]
  MoEpicは、新しい専門家分割機構を備えた効率的なMoE推論システムである。 人気のあるMoE LLMの実験は、MoEpicがGPUコストの約半分を節約できることを示した。
  論文  参考訳（メタデータ） (2025-09-10T07:28:24Z)
• Mixture of Lookup Experts [63.787712153454464]
  Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。 MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
  論文  参考訳（メタデータ） (2025-03-20T02:31:57Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。