論文の概要: MatMoE: Matryoshka Mixture-of-Experts with Dynamic Mixed-Precision Quantization for Efficient Inference

• arxiv url: http://arxiv.org/abs/2611.01704v1
• Date: Sun, 01 Nov 2026 08:46:40 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:30:20.378177
• Title: MatMoE: Matryoshka Mixture-of-Experts with Dynamic Mixed-Precision Quantization for Efficient Inference
• Title（参考訳）: MatMoE: 効率的な推論のための動的混合精度量子化を用いたMatryoshka Mixture-of-Experts
• Abstract要約: MatMoEは、効率的なMoE推論のための動的混合精度量子化フレームワークである。 MatMoEは最先端の静的混合精度法よりも4.0% sim 18.3%高い精度を達成する。
• 参考スコア（独自算出の注目度）: 3.033707160388854
• License:
• Abstract: Mixture-of-Experts (MoE) architecture has been widely adopted in large language models (LLMs) since it reduces the computational cost through sparse expert activation. However, the massive parameter scale of MoE models hinders their deployment on resource-constrained edge devices. Although existing mixed-precision quantization reduces the model size, they are inherently static, fixing the bit-width of each expert across decoding steps. Such static schemes yield suboptimal performance as they overlook the dynamic variation in expert importance during decoding. Furthermore, they fail to adapt to the dynamic latency constraint driven by the fluctuating system utilization. To address these challenges, we propose MatMoE, a dynamic mixed-precision quantization framework for efficient MoE inference. MatMoE features: (1) a Matryoshka MoE PTQ algorithm that enables experts to operate flexibly at multiple precisions within a stringent memory budget; (2) a floor-and-compensation quantization method that eliminates redundant memory accesses in the Matryoshka representation; and (3) a dynamic bit-width allocation strategy that determines the precision for each expert based on their routing scores to satisfy the dynamic latency requirement. We implement our MatMoE system atop llama.cpp for both CPU and GPU platforms. Extensive evaluations across three modern MoE models and challenging benchmarks demonstrate that MatMoE achieves $4.0\% \sim 18.3\%$ higher accuracy than state-of-the-art static mixed-precision method. Compared to llama.cpp, MatMoE delivers $1.3\times \sim 3.7\times$ speedup on Raspberry Pi 5, and $1.2\times \sim 1.3\times$ speedup on NVIDIA RTX 4090 and Jetson AGX Orin.
• Abstract（参考訳）: Mixture-of-Experts (MoE) アーキテクチャは、専門家の活性化によって計算コストを削減できるため、大規模言語モデル (LLM) で広く採用されている。 しかし、MOEモデルの大規模なパラメータスケールは、リソース制約のあるエッジデバイスへのデプロイメントを妨げる。 既存の混合精度量子化はモデルのサイズを減少させるが、それらは本質的に静的であり、デコードステップで各専門家のビット幅を固定する。 このような静的スキームは、復号中に専門的重要性の動的変動を見落とし、準最適性能を得る。 さらに、変動するシステム利用によって引き起こされる動的レイテンシ制約に適応できない。 これらの課題に対処するために、効率的なMoE推論のための動的混合精度量子化フレームワークであるMatMoEを提案する。 Matryoshka MoE PTQアルゴリズムは,(1) 厳密なメモリ予算内で複数の精度でフレキシブルに操作できる,(2) マトリシカ表現における冗長なメモリアクセスを除去するフロア・アンド・補償量子化法,(3) ルーティングスコアに基づいて各専門家の精度を決定する動的ビット幅割当戦略により,動的レイテンシ要求を満たす。 我々は CPU と GPU プラットフォームの両方で llama.cpp 上に MatMoE システムを実装している。 最新の3つのMoEモデルと挑戦的なベンチマークによる大規模な評価は、MatMoEが最先端の静的混合精度法よりも4.0\% \sim 18.3\%$高い精度で達成していることを示している。 llama.cppと比較すると、MatMoEはRaspberry Pi 5で1.3\times \sim 3.7\times$スピードアップ、NVIDIA RTX 4090とJetson AGX Orinで1.2\times \sim 1.3\times$スピードアップを提供する。

関連論文リスト

• Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts [39.762100288049815]
  我々は、ハードウェアネイティブで低精度なスパース表現に専門家の重みを圧縮するエンドツーエンドのハードウェア・ソフトウェア共同設計フレームワークを提案する。 NVIDIA B200では、当社のカーネルはベンダーのベースラインを最大1.65タイム($1.65タイム)、サービススループットを1.18タイム($1.18タイム)、エンドツーエンドのレイテンシを最大4.03タイム($4.03タイム)に向上させています。
  論文  参考訳（メタデータ） (2026-09-29T07:58:06Z)
• Dynamic Expert Quantization for Scalable Mixture-of-Experts Inference [2.649774320778185]
  我々は、専門家の精度を第一級、動的に管理されるリソースとして扱うランタイムシステムDynaExqを提案する。 我々は,DynaExqが5090とA6000のGPU上で大きなLLMをデプロイし,静的な低精度ベースラインに対して最大4.03ポイントの精度向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-19T01:27:54Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• D$^{2}$MoE: Dual Routing and Dynamic Scheduling for Efficient On-Device MoE-based LLM Serving [14.607254882119507]
  専門家(MoE)モデルの組み合わせは、大きな言語モデル(LLM)のスパース変種である。 メリットはあるものの、リソース制約のあるエッジデバイスにデプロイするにはMoEは高価すぎる。 D$2$MoEは,各専門家に最適なビット幅を動的に割り当てることで,多様なタスク要求に適合するアルゴリズム・システム協調設計フレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T05:37:35Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。