論文の概要: EStream: Fast and Memory-Efficient MoE Prefill through Expert Virtualization on Mobile NPUs
- arxiv url: http://arxiv.org/abs/2609.06551v1
- Date: Sun, 06 Sep 2026 11:52:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.264956
- Title: EStream: Fast and Memory-Efficient MoE Prefill through Expert Virtualization on Mobile NPUs
- Title（参考訳）: EStream: モバイルNPUのエキスパート仮想化による高速かつメモリ効率のMoEプリフィル
- Abstract要約: EStreamは、NPUが修正しなければならないものと、実行時にMoEが決定するものとを分離する。
単一のコンパイルされた専門家グラフは、各専門家のルーティングトークンと呼び出し時にバウンドされたウェイトアドレスを持つ、すべての専門家に役立ちます。
EStreamは2.25--27.57Xの純プリフィルTTFTスピードアップを実現し、ピーク物理メモリを1.19--12.29X削減する。
- 参考スコア（独自算出の注目度）: 17.784837642037942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile vendors and application developers increasingly deploy LLMs on smartphones for diverse prefill-only services. Yet current systems rely mainly on dense models whose regular computation maps efficiently to mobile NPUs, leaving more capable MoEs underused. MoE prefill does not fit mobile NPUs: NPU graphs are fixed at compile time, yet MoE picks experts at runtime; and one request touches most experts, more than a phone can hold in memory. We present EStream, which resolves both by separating what the NPU must fix from what MoE decides at runtime. A single compiled expert graph serves every expert, with each expert's routed tokens and weight address bound at call time, so dynamic MoE execution runs entirely on the NPU without padding or CPU/GPU fallback. Expert virtualization keeps the expert pool in UFS flash storage and pages it through a fixed-size NPU-addressable arena, group by group, with loading hidden behind computation, so memory is bounded by the arena rather than by the model. It further introduces a hardware-aware configuration algorithm that automatically configures the UFS--NPU pipeline and maximizes loading--computation overlap. Across 18 comparative settings covering three 7B--16B MoEs and 256--4,096-token prompts, we evaluate EStream on a commercial Snapdragon smartphone. Compared to the fastest baseline at each setting, EStream achieves a 2.25--27.57X pure-prefill TTFT speedup and reduces peak physical memory by 1.19--12.29X. EStream further scales to MoE models with up to 46.7B parameters.
- Abstract（参考訳）: モバイルベンダやアプリケーション開発者は、さまざまなプリフィルオンリーサービスのために、スマートフォンにLSMをデプロイする傾向にある。
しかし、現在のシステムは主に、通常の計算がモバイルNPUに効率的にマッピングされるような高密度モデルに依存しており、より有能なMoEは未使用のままである。
MoEプリフィルはモバイルのNPUに適合しない: NPUグラフはコンパイル時に固定されるが、MoEは実行時に専門家を選ぶ。
我々は、NPUが修正しなければならないものを、実行時にMoEが決定するものから分離することで、両方を解決するEStreamを紹介します。
単一のコンパイルされた専門家グラフは、各専門家のルーティングトークンと呼び出し時にバウンドされたウェイトアドレスを持つすべての専門家に役立ち、動的MoE実行は、パディングやCPU/GPUのフォールバックなしで、NPU上で完全に実行される。
エキスパート仮想化は、専門家プールをUFSフラッシュストレージに保持し、グループごとに固定サイズのNPUアドレス可能なアリーナを通じてページし、計算の裏側にはロードが隠されているため、メモリはモデルではなくアリーナによってバウンドされる。
さらに、UFS--NPUパイプラインを自動的に構成し、ロード-計算オーバーラップを最大化するハードウェア対応構成アルゴリズムを導入する。
3つの7B--16B MoEと256--4,096-tokenプロンプトを含む18種類の比較設定で,商用Snapdragonスマートフォン上でのEStreamの評価を行った。
各設定で最速のベースラインと比較すると、EStreamは2.25--27.57Xの純粋なプリフィルTTFTスピードアップを達成し、ピーク物理メモリを1.19--12.29X削減する。
EStreamはさらに46.7Bパラメータを持つMoEモデルにスケールする。
関連論文リスト
- Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。
さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
論文 参考訳（メタデータ） (2026-07-02T08:06:57Z) - Efficient On-Device Diffusion LLM Inference with Mobile NPU [8.218014049394391]
lladaは、スマートフォン上でdLLMを加速するための最初のNPU対応推論フレームワークである。
エンドツーエンドのフレームワークとしてlladaを実装し、さまざまなハードウェアプラットフォームとdLLMワークロードで評価しています。
論文 参考訳（メタデータ） (2026-06-11T12:44:57Z) - Efficient Mixture-of-Experts LLM Inference with Apple Silicon NPUs [5.431496585727341]
本稿では,Apple Silicon上でのMoE実行を高速化するランタイム推論エンジンであるNPUMoEを提案する。
NPUMoEはベースラインを一貫して上回り、レイテンシを1.32x-5.55xに、エネルギー効率を1.81x-7.37xに、CPUサイクルを1.78x-5.54xに減らした。
論文 参考訳（メタデータ） (2026-04-20T19:52:56Z) - MELINOE: Fine-Tuning Enables Memory-Efficient Inference for Mixture-of-Experts Models [13.907916161242794]
Mixture-of-Experts (MoE)モデルアーキテクチャはトークン当たりのアクティベートパラメータの数を著しく削減することができる。
彼らの全体的なパラメータ数とモデルサイズは、リソース制約された設定で広く使用されるのを妨げている。
MELINOE(MelinoE)は、MoEモデルを微調整し、より強く、配列ごとに少数の専門家を活性化する手法である。
論文 参考訳（メタデータ） (2026-01-30T14:40:18Z) - SonicMoE: Accelerating MoE with IO and Tile-aware Optimizations [54.303301888915406]
混合エキスパートモデル(MoE)は、計算コストを大幅に増加させることなく、言語モデルをスケールアップするためのデファクトアーキテクチャとして登場した。
最小のアクティベーションキャッシングでMoEの前後パスを計算するメモリ効率のアルゴリズムを提案する。
また,グループ化されたGEMMカーネルのパディングによる無駄計算を最小限に抑える新しい「トークンラウンドリング」手法を提案する。
論文 参考訳（メタデータ） (2025-12-16T04:39:10Z) - Mixture of Lookup Experts [63.787712153454464]
Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。
MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
論文 参考訳（メタデータ） (2025-03-20T02:31:57Z) - Mixture of Cache-Conditional Experts for Efficient Mobile Device Inference [14.57414071160821]
本稿では,トークン生成時に専門家の再利用を活用し,キャッシュの局所性を改善する新しいキャッシュ対応ルーティング戦略を提案する。
モバイルデバイス上での2$times$のスピードアップを実演する。
論文 参考訳（メタデータ） (2024-11-27T18:59:48Z) - MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。
MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。
MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
論文 参考訳（メタデータ） (2024-11-18T01:06:12Z) - MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。
バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。
MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
論文 参考訳（メタデータ） (2024-08-21T16:10:41Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z) - Fast On-device LLM Inference with NPUs [10.80559106452755]
我々は、オンデバイスニューラルプロセッシングユニット(NPU)オフロードを利用した最初のLCM推論システムであるllm.npuについて述べる。
llm.npuは3つのレベルでプロンプトとモデルを再構築することで、NPUのオフロード効率を向上させる。
初めて、llm.npuは10億規模のモデルで1000トークン/秒以上のプリフィルを達成した。
論文 参考訳（メタデータ） (2024-07-08T12:20:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。