論文の概要: APEX: Adaptive Expert Prefetching for Memory-Efficient Edge MoE Inference
- arxiv url: http://arxiv.org/abs/2608.11688v1
- Date: Wed, 12 Aug 2026 05:57:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.476742
- Title: APEX: Adaptive Expert Prefetching for Memory-Efficient Edge MoE Inference
- Title（参考訳）: APEX: メモリ効率の良いエッジMoE推論のためのアダプティブエキスパートプレフェッチ
- Abstract要約: Mixture-of-Experts(MoE)モデルは、トークン当たりのパラメータの小さなサブセットのみをアクティベートしながら、高いモデルキャパシティを提供するため、エッジデプロイメントにとって魅力的なものだ。
本稿では,APEX:Adaptive Expert Prefetchingについて述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Mixture-of-Experts (MoE) models are attractive for edge deployment because they provide high model capacity while activating only a small subset of parameters per token, improving compute efficiency. However, MoE inference at the edge is fundamentally limited by memory. Expert parameters are large and often reside in off-chip memory due to capacity, cost, and power constraints, putting expert loading to the critical path. We present APEX: Adaptive Expert Prefetching, a predictive resource management framework that overlaps expert loading with useful computation. APEX introduces a lightweight prefetch router that predicts candidate experts before the attention block to dynamically fetch additional experts using a learned confidence model. This adaptive strategy achieves over 99% overlap accuracy, significantly outperforming fixed top-k prefetching techniques. APEX supports two execution modes: a correctness-preserving mode that guarantees exact routing semantics, and a stall-free mode that eliminates residual stalls by operating on available experts with negligible impact on application accuracy. Across multiple MoE models, the correctness-preserving mode reduces per-token latency by up to 26% and improves energy-delay product (EDP) by up to 41% over state-of-the-art baselines, while the stall-free mode provides additional efficiency gains with negligible impact on application accuracy. These results establish adaptive, confidence-driven expert prefetching as an effective approach for efficient MoE inference on edge systems.
- Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、トークン当たりのパラメータの小さなサブセットのみを活性化し、計算効率を向上しながら、高いモデルキャパシティを提供するため、エッジデプロイメントにとって魅力的なモデルである。
しかし、エッジでのMoE推論は基本的にメモリによって制限される。
エキスパートパラメータは大規模で、容量、コスト、電力制約のためにオフチップメモリに常駐し、専門家のロードをクリティカルパスに配置する。
本稿では,APEX:Adaptive Expert Prefetchingについて述べる。
APEXは軽量なプレフェッチルータを導入し、アテンションブロックの前に候補の専門家を予測し、学習された信頼モデルを使用して専門家を動的にフェッチする。
この適応戦略は、99%以上のオーバーラップ精度を達成し、固定されたトップkプリフェッチ技術よりも大幅に優れている。
APEXは2つの実行モードをサポートしており、正確なルーティングセマンティクスを保証する正当性保存モードと、アプリケーション正確性に無視できない影響を持つ専門家に操作することで、残留ストールを除去するストールフリーモードである。
複数のMoEモデル全体で、正しい保存モードはトーケン毎のレイテンシを最大26%削減し、最先端のベースラインよりも最大41%のエネルギー遅延製品(EDP)を改善する。
これらの結果は、エッジシステム上での効率的なMoE推論のための効果的なアプローチとして、適応的、信頼性駆動のエキスパートプリフェッチを確立する。
関連論文リスト
- Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。
我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-06-16T06:53:27Z) - BEAM: Binary Expert Activation Masking for Dynamic Routing in MoE [18.898045833395095]
Mixture-of-Experts (MoE)アーキテクチャはトークンごとに専門家のサブセットだけを活性化する。
既存のアクセラレーション手法では、アーキテクチャの変更でコストがかかるか、あるいは高頻度で厳しいパフォーマンス低下に苦しむ必要がある。
訓練可能なバイナリマスクを用いてトークン適応型エキスパート選択を学習する新しい手法BEAMを提案する。
論文 参考訳（メタデータ） (2026-05-14T06:33:41Z) - DyMoE: Dynamic Expert Orchestration with Mixed-Precision Quantization for Efficient MoE Inference on Edge [49.3949520091098]
高速エッジ推論のための動的混合精度量子化フレームワークDyMoEを提案する。
我々は、DyMoEが、最先端のオフロードベースラインと比較して、Time-Per-Output-Token(TPOT)において、Time-to-First-Tokenを3.44x-22.7x、14.58倍のスピードアップすることを示す。
論文 参考訳（メタデータ） (2026-03-19T17:30:01Z) - FineRMoE: Dimension Expansion for Finer-Grained Expert with Its Upcycling Approach [58.345210583013454]
FineRMoEは、細粒度の専門家設計を中間次元と出力次元の両方に拡張するアーキテクチャである。
パラメータ効率の6倍、プリフィルレイテンシの281倍、推論時の復号スループットの136倍を実現している。
論文 参考訳（メタデータ） (2026-03-09T12:00:36Z) - MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。
静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文 参考訳（メタデータ） (2025-10-13T03:12:46Z) - LExI: Layer-Adaptive Active Experts for Efficient MoE Model Inference [2.8653469160349077]
我々は、事前訓練されたMoEモデルにおいて、各層当たりのアクティブな専門家の最適な数を決定する、データフリーな最適化手法であるLExIを紹介する。
最先端の言語とビジョンのMoEベンチマークの実験では、LExIは推論効率の点で従来のMoEプルーニング手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-09-02T19:01:46Z) - HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。
キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。
HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-11-03T04:25:46Z) - ExpertFlow: Optimized Expert Activation and Token Allocation for Efficient Mixture-of-Experts Inference [41.41316718220569]
ExpertFlowは、柔軟なルーティングを調整し、CPUとGPU間の効率的な専門家スケジューリングを可能にすることで、推論効率を向上させるように設計されている。
実験により、ExpertFlowは最大93.72%のGPUメモリを節約し、ベースライン法に比べて推論速度を2～10倍に向上することを示した。
論文 参考訳（メタデータ） (2024-10-23T15:24:54Z) - AdapMoE: Adaptive Sensitivity-based Expert Gating and Management for Efficient MoE Inference [13.263938935671646]
AdapMoEは、効率的なMoE推論のためのアルゴリズムとシステムの共同設計フレームワークである。
AdapMoEは、オンデマンドのロードオーバーヘッドを減らすために、アダプティブなエキスパートゲーティングと管理機能を備えている。
AdapMoEは既存の技術より一貫して優れており、アクティベートされた専門家の平均数が25%減少し、精度を低下させることなく1.35倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2024-08-19T03:27:15Z) - SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。
第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。
実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
論文 参考訳（メタデータ） (2024-04-07T22:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。