論文の概要: DynaNDE: Dynamic Near-Data Expert Scheduling for Batched MoE Inference

• arxiv url: http://arxiv.org/abs/2609.00407v1
• Date: Mon, 31 Aug 2026 21:38:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.104999
• Title: DynaNDE: Dynamic Near-Data Expert Scheduling for Batched MoE Inference
• Title（参考訳）: DynaNDE: バッチMoE推論のための動的ニアデータエキスパートスケジューリング
• Abstract要約: Mixture-of-Experts (MoE)モデルは、ニューラル処理ユニット(NPU)ベースのシステムにデプロイされる場合、かなりのデータ移動オーバーヘッドに悩まされる。 NDPは、協調的なNPU-NDP実行を通じて、このボトルネックを緩和する有望な方法を提供する。 本稿では,NPU-NDP協調を利用してバッチ型MoE推論を高速化する動的ニアデータエキスパートスケジューリングフレームワークDynaNDEを提案する。
• 参考スコア（独自算出の注目度）: 1.3714927666270709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) models enable efficient scaling of large language model (LLM) inference but suffer from substantial data-movement overhead when deployed on neural processing unit (NPU)-based systems. Near-Data Processing (NDP) provides a promising way to mitigate this bottleneck via cooperative NPU-NDP execution. However, existing NPU-NDP MoE systems do not fully account for hardware heterogeneity, dynamic expert-level concurrency, and temporal expert reuse during batched inference. This paper presents DynaNDE, a dynamic near-data expert scheduling framework that exploits NPU-NDP collaboration to accelerate batched MoE inference. DynaNDE introduces an analytical performance model that captures hardware heterogeneity, data-movement costs, and communication-computation overlap in cooperative NPU-NDP execution. Guided by this model, DynaNDE determines per-layer expert scheduling across the NPU and NDP while accounting for expert-level concurrency. DynaNDE also incorporates a reuse-aware runtime that avoids redundant parameter movement when experts reside in NPU memory. Experimental results show that DynaNDE achieves substantial throughput improvements over the state-of-the-art NPU-NDP MoE serving framework, with average speedups of 2.6$\times$ and 2.2$\times$ for the prefill and decoding stages, respectively.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、大規模言語モデル(LLM)推論の効率的なスケーリングを可能にするが、ニューラル処理ユニット(NPU)ベースのシステムにデプロイすると、かなりのデータ移動オーバーヘッドに悩まされる。 Near-Data Processing (NDP)は、協調的なNPU-NDP実行を通じて、このボトルネックを緩和する有望な方法を提供する。 しかし、既存のNPU-NDP MoEシステムは、ハードウェアの不均一性、動的専門家レベルの並行性、バッチ推論時の時間的専門家の再利用を十分に考慮していない。 本稿では,NPU-NDP協調を利用してバッチ型MoE推論を高速化する動的ニアデータエキスパートスケジューリングフレームワークDynaNDEを提案する。 DynaNDEは、協調NPU-NDP実行において、ハードウェアの不均一性、データ移動コスト、通信-計算重複をキャプチャする解析性能モデルを導入する。 このモデルによって導かれたDynaNDEは、専門家レベルの並行性を考慮して、NPUとNDPをまたいだ階層ごとのエキスパートスケジューリングを決定する。 DynaNDEはまた、NPUメモリに専門家がいる場合の冗長なパラメータ移動を回避する、再利用対応ランタイムも組み込んでいる。 実験結果から、DynaNDEは最先端のNPU-NDP MoEサービスフレームワークに対して、それぞれ2.6$\times$と2.2$\times$をプリフィルとデコードで処理し、大幅なスループット向上を実現していることがわかった。

関連論文リスト

• When NPUs Are Not Always Faster: A Stage-Level Analysis of Mobile LLM Inference [8.014238682359938]
  モバイルデバイス上の大規模言語モデル(LLM)は、ますます不均一な実行に依存している。 演算子およびパイプラインレベルでNPUの有効性を系統的に評価した先行研究はない。 CPU-NPUヘテロジニアスシステム上での移動LEM推論のステージ認識とマルチレベルベンチマークについて述べる。
  論文  参考訳（メタデータ） (2026-05-22T10:39:35Z)
• A Scheduling Framework for Efficient MoE Inference on Edge GPU-NDP Systems [28.86723467729703]
  Mixture-of-Experts(MoE)モデルは、モデルキャパシティをアクティブな計算から切り離すことでエッジデプロイメントを容易にするが、その大きなメモリフットプリントは、専門家を専用の処理ユニットにオフロードするほぼデータ処理機能を備えたGPUシステムの必要性を促進する。 エッジベースのGPU-NDPシステムにMoEモデルをデプロイするには、3つの重要な課題がある。1) 非均一な専門家選択と専門家並列性によるNDPユニット間の負荷不均衡、2)NDPユニット内でのエキスパート計算におけるGPU利用不足、3)予測不能な専門家アクティベーションパターンによって必要となる広範なデータ事前プロファイリング。
  論文  参考訳（メタデータ） (2026-01-07T15:02:57Z)
• eIQ Neutron: Redefining Edge-AI Inference with Integrated NPU and Compiler Innovations [4.776283807742058]
  eIQ中性子効率NPUは商用フラッグシップMPUに統合される。 我々のソリューションは、標準AIベンチマークにおけるTOPSとメモリリソースの同等で平均1.8倍(4倍ピーク)のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-09-17T19:45:51Z)
• Intra-DP: A High Performance Collaborative Inference System for Mobile Edge Computing [67.98609858326951]
  Intra-DPはモバイルデバイス上でのディープニューラルネットワーク(DNN)に最適化された高性能な協調推論システムである。 推論毎のレイテンシを最大50%削減し、最先端のベースラインと比較してエネルギー消費量を最大75%削減する。 評価の結果,DP内の遅延は,最先端のベースラインと比較して最大50%,エネルギー消費は最大75%減少することがわかった。
  論文  参考訳（メタデータ） (2025-07-08T09:50:57Z)
• Benchmarking Ultra-Low-Power $μ$NPUs [5.1032153291137465]
  効率的なオンデバイスニューラルネットワーク(NN)推論は、予測可能なレイテンシ、プライバシと信頼性の向上、ベンダの運用コストの低減を提供する。 近年、超低消費電力アプリケーションのために、マイクロコントローラスケールNNアクセラレーター(ニューラルプロセッシングユニット(mu$NPUs)とも呼ばれる)が開発されている。 本稿では,複数のプラットフォームを対象とした最初の独立ベンチマークを含む,有償の$mu$NPUの初回比較評価を行う。
  論文  参考訳（メタデータ） (2025-03-28T16:14:06Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。