論文の概要: Mira: Memory-Efficient MoE Inference Using Adaptive Caching and Predictive Expert Staging

• arxiv url: http://arxiv.org/abs/2609.38090v1
• Date: Tue, 29 Sep 2026 17:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.79711
• Title: Mira: Memory-Efficient MoE Inference Using Adaptive Caching and Predictive Expert Staging
• Title（参考訳）: Mira: 適応キャッシングと予測エキスパートによるメモリ効率の良いMoE推論
• Abstract要約: Miraはアルゴリズムとシステムの共同設計で、単一のGPU上で高容量のMoE推論を可能にする。 予測専門家管理と調整された量子化フォーマットを結合することで、リアクティブから積極的なスタンスへとシフトする。 Miraはメモリ制限されたGPUで平均スループットの5.71倍のスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 0.8952229340927184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models are a compelling architecture for scaling model capacity, making them especially attractive for deployment on resource-constrained, single-GPU systems. However, this benefit is difficult to realize because expert parameters dominate memory, and token-level routing is dynamic, unpredictable, and skewed. Prior work using offloading and caching remains fundamentally reactive, as systems wait for router outputs before moving experts, leading to inefficient cache utilization and an inability to overlap transfers with compute under tight VRAM budgets. To address these challenges, we propose Mira, an algorithm-system co-design that enables high-capacity MoE inference on a single GPU. Mira shifts from a reactive to a proactive stance by coupling predictive expert management with a tailored quantization format. It introduces lightweight per-layer predictors that anticipate expert usage two layers ahead, enabling proactive prefetching. These predictions feed a two-tier HOT+STAGE GPU cache managed by token-level routing telemetry to retain frequently used experts while staging predicted ones. To minimize transfer overhead, Mira implements a custom compression for expert parameters, which reduces metadata and improves packing efficiency, while minimally degrading accuracy. Mira is implemented as a fully integrated runtime that coordinates predictors, caching policies, and quantized transfers to maximize overlap between communication and compute. Our experiments show that Mira reduces expert-induced stalls. Compared against state-of-the-art baselines, Mira achieves a 5.71x speedup in average throughput on a memory-constrained GPU. It accelerates Time-to-First-Token by 11.71x and achieves a 3.84$x average speedup in beam search inference, demonstrating its effectiveness across diverse inference scenarios.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、モデルのキャパシティをスケーリングするための魅力的なアーキテクチャであり、リソースに制約のあるシングルGPUシステムへのデプロイには特に魅力的です。 しかし、専門家のパラメータがメモリを支配しており、トークンレベルのルーティングは動的で予測不能で歪んでいるため、この利点を実現するのは難しい。 システムは専門家を動かす前にルータ出力を待つため、オフロードとキャッシュを使用する以前の作業は、基本的にはリアクティブであり、非効率なキャッシュ利用と、厳格なVRAM予算下での計算とのオーバーラップができない。 これらの課題に対処するために,1つのGPU上での高容量MoE推論を可能にするアルゴリズム-システム共設計であるMiraを提案する。 Miraは、予測専門家管理と調整された量子化フォーマットを結合することで、リアクティブから積極的なスタンスへとシフトする。 前に2つのレイヤのエキスパート使用を予想する軽量なレイヤ単位の予測器を導入し、プロアクティブなプレフェッチを可能にしている。 これらの予測は、トークンレベルのルーティングテレメトリによって管理される2層HOT+STAGE GPUキャッシュをフィードし、予測されたキャッシュをステージングしながら、頻繁に使用される専門家を保持する。 転送オーバーヘッドを最小限に抑えるため、Miraでは、メタデータを削減し、パッキング効率を向上させるとともに、精度を最小限に低下させる、専門家パラメータのカスタム圧縮を実装している。 Miraは、予測器、キャッシュポリシー、および通信と計算の重複を最大化する量子化転送をコーディネートする完全に統合されたランタイムとして実装されている。 実験の結果,Miraは専門家によるストールを減少させることがわかった。 最先端のベースラインと比較すると、メモリ制約のGPU上での平均スループットは5.71倍に向上する。 タイム・ツー・ファースト・トークンを11.71倍加速し、ビームサーチにおける平均スピードアップを3.84ドルで達成し、様々な推論シナリオでその有効性を実証している。

関連論文リスト

• Speculating Experts Accelerates Inference for Mixture-of-Experts [44.31811859704714]
  Mixture-of-Experts (MoE)モデルは、大規模言語モデル(LLM)のキャパシティを拡大する手段として人気を集めている。 本稿では、現在計算されている内部モデル表現を活用して、将来の専門家を推測するエキスパートプレフェッチ方式を提案する。 提案手法は,CPUメモリからのエキスパートのオンデマンドロードよりも,出力トークン当たりの最大14%の時間短縮を実現する。
  論文  参考訳（メタデータ） (2026-03-09T06:59:47Z)
• TS-Memory: Plug-and-Play Memory for Time Series Foundation Models [63.21390142212087]
  Time Series Foundation Models (TSFM) は大規模な事前訓練を通じて強力なゼロショット予測を実現する。 パラメトリック適応は破滅的な忘れを招き、非パラメトリック検索は予測を改善するが、データストア検索によってレイテンシが高くなる。 本稿では, TSFM を拡張した軽量メモリアダプタ TS-Memory としてParametric Memory Distillation を提案し,実装する。
  論文  参考訳（メタデータ） (2026-02-12T04:16:19Z)
• ExpertFlow: Adaptive Expert Scheduling and Memory Coordination for Efficient MoE Inference [8.296993547783808]
  ExpertFlowは、適応型エキスパートプリフェッチとキャッシュ対応ルーティングを組み合わせた、MoE推論のためのランタイムシステムである。 我々の評価では、ExpertFlowはモデルストール時間をベースラインの0.1%未満に短縮する。
  論文  参考訳（メタデータ） (2025-10-30T17:29:27Z)
• Accelerating Mixture-of-Expert Inference with Adaptive Expert Split Mechanism [29.862588578556366]
  MoEpicは、新しい専門家分割機構を備えた効率的なMoE推論システムである。 人気のあるMoE LLMの実験は、MoEpicがGPUコストの約半分を節約できることを示した。
  論文  参考訳（メタデータ） (2025-09-10T07:28:24Z)
• Mixture of Lookup Experts [63.787712153454464]
  Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。 MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
  論文  参考訳（メタデータ） (2025-03-20T02:31:57Z)
• Fate: Fast Edge Inference of Mixture-of-Experts Models via Cross-Layer Gate [39.52960562420227]
  MoEモデルはエッジシナリオに適しているが、専門家の予測では困難に直面している。 Fateは、リソース制約のある環境で効率的な推論を可能にするために、MoEモデル用に設計されたオフロードシステムである。 Fateはプリフィル速度で4.5倍と1.9倍のスピードアップ、復号速度で4.1倍と2.2倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-17T14:54:14Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• ExpertFlow: Optimized Expert Activation and Token Allocation for Efficient Mixture-of-Experts Inference [41.41316718220569]
  ExpertFlowは、柔軟なルーティングを調整し、CPUとGPU間の効率的な専門家スケジューリングを可能にすることで、推論効率を向上させるように設計されている。 実験により、ExpertFlowは最大93.72%のGPUメモリを節約し、ベースライン法に比べて推論速度を2～10倍に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-23T15:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。