論文の概要: CRISP: Co-designing Pruning and Scheduling for Efficient MoE Inference on Edge Servers

• arxiv url: http://arxiv.org/abs/2610.37442v1
• Date: Tue, 27 Oct 2026 15:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.273051
• Title: CRISP: Co-designing Pruning and Scheduling for Efficient MoE Inference on Edge Servers
• Title（参考訳）: CRISP:エッジサーバ上での効率的なMoE推論のためのプランニングとスケジューリングの共同設計
• Abstract要約: メモリ制約のあるエッジプラットフォーム上でのMixture-of-Experts (MoE)推論は、計算よりも専門家の重み付けによって支配されることが多い。 メモリ制約のあるエッジプラットフォーム上で効率的なMoEを実現するために,プルーニングと実行時スケジューリングを共同設計するCRISPを提案する。
• 参考スコア（独自算出の注目度）: 38.53201689705727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) inference on memory-constrained edge platforms is often dominated by expert-weight movement rather than computation. Although each token activates only a small subset of experts, routing is input-dependent, so all experts must remain accessible and memory movement dominates latency. Existing approaches such as uniform pruning and expert dropping overlook two properties of MoE execution: expert combinations are highly skewed in frequency, and experts contribute asymmetrically within each combination. We present CRISP, a combination-aware framework that co-designs pruning and runtime scheduling for efficient MoE serving on memory-constrained edge platforms. CRISP reorders neurons by importance so one stored expert can support multiple execution widths, assigns differentiated execution to hot, warm, and cold combinations based on frequency and expert role, and exploits heterogeneous widths to overlap expert loading with computation. Across Mixtral-8x7B and DeepSeek-MoE-16B, CRISP improves throughput by up to $2.1\times$ at the same memory budget while limiting accuracy loss to 3.6\% relative to full-width inference. Our results highlight that efficient edge MoE serving requires jointly optimizing which expert capacity is preserved and how expert execution is scheduled.
• Abstract（参考訳）: メモリ制約のあるエッジプラットフォーム上でのMixture-of-Experts (MoE)推論は、計算よりも専門家の重み付けによって支配されることが多い。 各トークンは、専門家の小さなサブセットだけを起動するが、ルーティングは入力依存なので、すべての専門家がアクセス可能でなければならず、メモリ移動がレイテンシを支配している。 統一プルーニングやエキスパートドロップのような既存のアプローチでは、MoEの実行の2つの特性を見落としている。 メモリ制約のあるエッジプラットフォーム上で効率的なMoEを実現するために,プルーニングと実行時スケジューリングを共同設計するCRISPを提案する。 CRISPはニューロンの並べ替えを重要視するため、1つのストアドエキスパートが複数の実行幅をサポートでき、周波数と専門家の役割に基づいて区別された実行をホット、ウォーム、コールドの組み合わせに割り当て、ヘテロジニアスな幅を利用して専門家の負荷と計算を重複させる。 Mixtral-8x7BとDeepSeek-MoE-16B全体で、CRISPは最大2.1\times$を同じメモリ予算で改善し、精度損失を全幅推論と比較して3.6\%に制限した。 この結果から, 効率的なエッジMoE提供には, 専門家のキャパシティの保存方法と, 専門家の実行スケジュールを協調的に最適化する必要があることがわかった。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
  これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。 我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-15T15:08:09Z)
• DyMoE: Dynamic Expert Orchestration with Mixed-Precision Quantization for Efficient MoE Inference on Edge [49.3949520091098]
  高速エッジ推論のための動的混合精度量子化フレームワークDyMoEを提案する。 我々は、DyMoEが、最先端のオフロードベースラインと比較して、Time-Per-Output-Token(TPOT)において、Time-to-First-Tokenを3.44x-22.7x、14.58倍のスピードアップすることを示す。
  論文  参考訳（メタデータ） (2026-03-19T17:30:01Z)
• SERE: Similarity-based Expert Re-routing for Efficient Batch Decoding in MoE Models [19.56443760368644]
  類似性に基づくSERE(Expert Re-routing method for Efficient batch decoding in MoE model)を提案する。 SEREは、セカンダリエキスパートから最もよく似たプライマリエキスパートにトークンを再ルートすることで、アクティブエキスパートの数を動的に削減する。 SEREは、最小品質の損失で最大2.0倍のスピードアップを実現し、コスト効率とレイテンシに敏感な大規模なMoEデプロイメントのための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-02-07T16:51:16Z)
• Dynamic Expert Sharing: Decoupling Memory from Parallelism in Mixture-of-Experts Diffusion LLMs [22.399470395813577]
  Dynamic Expert Sharing (DES) は、MoE最適化をトークン中心のプルーニングからシーケンシャルレベルのコアセット選択に移行する新しいテクニックである。 DESは、独自の専門家アクティベーションを55%以上削減し、レイテンシを最大38%削減し、バニラ精度の99%を維持している。
  論文  参考訳（メタデータ） (2026-01-31T20:01:47Z)
• One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning [52.966712416640085]
  本稿では,タスク固有戦略と共有プロンプト戦略の両方の利点を統合する新しいフレームワークであるSMoPEを提案する。 SMoPEはタスク固有のプロンプトメソッドを一貫して上回り、最先端のアプローチと競合する性能を達成する。
  論文  参考訳（メタデータ） (2025-09-29T08:54:58Z)
• Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
  CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。 イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
  論文  参考訳（メタデータ） (2025-06-23T02:15:43Z)
• Not All Models Suit Expert Offloading: On Local Routing Consistency of Mixture-of-Expert Models [45.691230716687365]
  Mixture-of-Experts (MoE) は、推論中に専門家がわずかに活性化された大きな言語モデルの効率的なスケーリングを可能にする。 多くのシステムでは,専門家のサブセットを高速メモリにキャッシュする*専門家オフロード*を導入している。 各層にMoEを適用し、共有専門家を使用しないモデルは、最も高い局所的なルーティング一貫性を示す。
  論文  参考訳（メタデータ） (2025-05-21T22:13:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。