論文の概要: In-depth Analysis on Caching and Pre-fetching in Mixture of Experts Offloading

• arxiv url: http://arxiv.org/abs/2511.05814v1
• Date: Sat, 08 Nov 2025 03:04:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.592676
• Title: In-depth Analysis on Caching and Pre-fetching in Mixture of Experts Offloading
• Title（参考訳）: エキスパートオフローディングの混合におけるキャッシングとプレフェッチの深部解析
• Authors: Shuning Lin, Yifan He, Yitong Chen,
• Abstract要約: MoEのオフロードを深く研究し、以下に貢献する。 専門家のアクティベーションとLRUキャッシングの挙動を詳細に分析し、トレースを提供する。 我々は、投機的専門家によるプレフェッチの実装と実験を行い、その大きな可能性を示す詳細なトレースを提供する。
• 参考スコア（独自算出の注目度）: 4.043126179945037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In today's landscape, Mixture of Experts (MoE) is a crucial architecture that has been used by many of the most advanced models. One of the major challenges of MoE models is that they usually require much more memory than their dense counterparts due to their unique architecture, and hence are harder to deploy in environments with limited GPU memory, such as edge devices. MoE offloading is a promising technique proposed to overcome this challenge, especially if it is enhanced with caching and pre-fetching, but prior work stopped at suboptimal caching algorithm and offered limited insights. In this work, we study MoE offloading in depth and make the following contributions: 1. We analyze the expert activation and LRU caching behavior in detail and provide traces. 2. We propose LFU caching optimization based on our analysis and obtain strong improvements from LRU. 3. We implement and experiment speculative expert pre-fetching, providing detailed trace showing its huge potential . 4. In addition, our study extensively covers the behavior of the MoE architecture itself, offering information on the characteristic of the gating network and experts. This can inspire future work on the interpretation of MoE models and the development of pruning techniques for MoE architecture with minimal performance loss.
• Abstract（参考訳）: 現在の状況では、Mixture of Experts (MoE) は、多くの先進的なモデルで使われている重要なアーキテクチャである。 MoEモデルの大きな課題の1つは、通常、独自のアーキテクチャのため、密度の高いメモリよりもはるかに多くのメモリを必要とするため、エッジデバイスのような限られたGPUメモリを持つ環境でのデプロイが困難であることである。 MoEオフロードは、キャッシュとプレフェッチによって強化された場合に、この問題を克服するために提案された有望なテクニックである。 本研究では,MoEのオフロードを深く研究し,次のような貢献をする。 1. 専門家のアクティベーションとLRUキャッシングの挙動を詳細に分析し、トレースを提供する。 解析結果に基づいてLFUキャッシュの最適化を提案し,LRUから強い改善を得た。 3 我々は、投機的専門家によるプレフェッチを行い、その潜在能力を示す詳細な痕跡を提供する。 と。 さらに,本研究はMoEアーキテクチャ自体の挙動を網羅し,ゲーティングネットワークの特徴や専門家に関する情報を提供する。 このことは、MoEモデルの解釈と、最小性能の損失でMoEアーキテクチャのプルーニング技術の開発に関する将来の研究に刺激を与えることができる。

関連論文リスト

• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• ViMoE: An Empirical Study of Designing Vision Mixture-of-Experts [71.11994027685974]
  我々は、MoE構造をViT(Vision Transformer)に統合し、ViMoEと命名し、MoEを視覚に適用する可能性を探る。 性能はMoE層の構成に敏感であり,設計を慎重に行わずに最適な結果を得ることが困難である。 これを解決するために、共有専門家を導入し、共通情報を学習し、取得し、安定したViMoEを構築する効果的な方法として役立てる。
  論文  参考訳（メタデータ） (2024-10-21T07:51:17Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。