論文の概要: Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2610.02241v1
• Date: Tue, 29 Sep 2026 07:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.009896
• Title: Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
• Title（参考訳）: Trillion-Scale Mixture-of-Experts のためのハードウェア-Native Joint Sparse-Quantization
• Abstract要約: 我々は、ハードウェアネイティブで低精度なスパース表現に専門家の重みを圧縮するエンドツーエンドのハードウェア・ソフトウェア共同設計フレームワークを提案する。 NVIDIA B200では、当社のカーネルはベンダーのベースラインを最大1.65タイム($1.65タイム)、サービススループットを1.18タイム($1.18タイム)、エンドツーエンドのレイテンシを最大4.03タイム($4.03タイム)に向上させています。
• 参考スコア（独自算出の注目度）: 39.762100288049815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures allow frontier language models to scale to trillions of parameters, but their deployment is constrained by massive memory footprints and memory-bandwidth limitations. Although modern accelerators provide Sparse Tensor Cores (SpTCs) that reduce weight storage and increase throughput through low-precision semi-structured sparsity, exploiting them for MoEs remains challenging because of substantial model-quality degradation and the lack of grouped sparse GEMM primitives. We present an end-to-end hardware-software co-design framework that compresses expert weights into hardware-native, low-precision sparse representations and accelerates their execution on SpTCs. Algorithmically, our framework relaxes discrete semi-structured support selection through continuous reparameterization, enabling differentiable joint optimization with quantized weights under a router-weighted reconstruction objective and scalable expert-parallel compression. Systemically, we develop a custom grouped sparse GEMM kernel tailored to low-precision sparse MoE inference on SpTCs. Across MoE models ranging from 30 billion to one trillion parameters, our framework improves state-of-the-art joint sparse-quantization accuracy by up to 4.35 percentage points while preserving 96.09% of the original model's performance. On NVIDIA B200 GPUs, our kernel outperforms the vendor baseline by up to $1.65\times$, increasing serving throughput by $1.18\times$ and reducing end-to-end latency by up to $4.03\times$. These results establish hardware-software co-design as a practical path toward scalable and efficient MoE deployment.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、フロンティア言語モデルを数兆のパラメータにスケール可能にするが、そのデプロイメントは大量のメモリフットプリントとメモリ帯域幅制限によって制限される。 現代の加速器は、Sparse Tensor Cores (SpTCs) を提供し、低精度な半構造空間によるスループットの向上を実現しているが、モデル品質の大幅な劣化とグループ化されたGEMMプリミティブの欠如により、それらをMoEsに活用することは依然として困難である。 我々は、ハードウェアネイティブで低精度なスパース表現に専門家の重みを圧縮し、SpTC上での実行を加速するエンドツーエンドのハードウェア・ソフトウェア共同設計フレームワークを提案する。 アルゴリズムにより、連続的なパラメータ化により、離散的な半構造的サポート選択を緩和し、ルータ重み付けされた再構成目的とスケーラブルなエキスパート並列圧縮の下で、量子化重み付き継手最適化を可能にする。 システム的には, SpTC 上での低精度なスパース MoE 推論に適した, GEMM カーネルを独自に開発する。 約300億から1兆のパラメータからなるMoEモデル全体で、我々のフレームワークは、元のモデルの性能の96.09%を保ちながら、最先端の関節スパース量子化精度を最大4.35ポイント改善する。 NVIDIA B200 GPUでは、当社のカーネルはベンダーベースラインを最大1.65\times$で上回り、サービススループットを1.18\times$で増加し、エンドツーエンドのレイテンシを最大4.03\times$で削減しています。 これらの結果は、スケーラブルで効率的なMoEデプロイメントへの実践的な道筋として、ハードウェアとソフトウェアの共同設計を確立している。

関連論文リスト

• UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs [22.43695132973238]
  学習後量子化と低ランク圧縮を一体化したUniQLを導入し,エッジLLMのデバイス上でのプルーニングレートについて述べる。 UniQLは、Transformers、State Space Models(SSM)、ハイブリッドモデルの量子化と低ランク圧縮を統合する一般的なフレームワークである。 当社のフレームワークは,シングルパスワークフローにおいて,クラウド上でウェイトソート,微調整,量子化を行うと同時に,デバイス上でのプルーニングレートを最大35%まで向上させる。
  論文  参考訳（メタデータ） (2025-12-03T02:33:39Z)
• EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices [3.5240021321113204]
  大きな言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すが、その大きなストレージと計算要求は、エッジデバイスへのデプロイメントを制限している。 本稿では,エントロピー符号化と混合量子化を統合した新しい圧縮フレームワークEntroLLMを提案する。
  論文  参考訳（メタデータ） (2025-05-05T05:42:14Z)
• D$^{2}$MoE: Dual Routing and Dynamic Scheduling for Efficient On-Device MoE-based LLM Serving [14.607254882119507]
  専門家(MoE)モデルの組み合わせは、大きな言語モデル(LLM)のスパース変種である。 メリットはあるものの、リソース制約のあるエッジデバイスにデプロイするにはMoEは高価すぎる。 D$2$MoEは,各専門家に最適なビット幅を動的に割り当てることで,多様なタスク要求に適合するアルゴリズム・システム協調設計フレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T05:37:35Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。