論文の概要: ProQuant: Preserving Expert Quality over Quantity in Ultra-Low-Bit Quantization of Mixture-of-Experts Models
- arxiv url: http://arxiv.org/abs/2610.30779v1
- Date: Thu, 22 Oct 2026 06:01:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.229551
- Title: ProQuant: Preserving Expert Quality over Quantity in Ultra-Low-Bit Quantization of Mixture-of-Experts Models
- Title（参考訳）: ProQuant:Mixture-of-Expertsモデルの超低ビット量子化における量子量を超える専門的品質の保存
- Abstract要約: 混合精度ポストトレーニング量子化(PTQ)は、異なるビット幅で異なるモデルコンポーネントを定量化することでコストを削減する。
既存の方法は、しばしば厳しいビット予算の下で生成品質を維持するのに苦労する。
本稿では,MoE モデルのための PTQ フレームワーク ProQuant を提案する。
- 参考スコア（独自算出の注目度）: 37.82529178617356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) large language models reduce computation through sparse activation but still incur substantial storage costs. Mixed-precision post-training quantization (PTQ) reduces these costs by quantizing different model components at different bit widths, but existing methods often struggle to preserve generation quality under tight bit budgets. We identify two key challenges: (1) nonlinear quantization errors at extremely low precision are underestimated when cross-layer propagation is ignored; (2) direct router fine-tuning may cause routing drift, and calibration gains may not generalize to downstream tasks. To address these issues, we propose ProQuant, a weight-only PTQ framework for MoE models. Prune-or-Prioritize Mixed-Precision Allocation (PoP) jointly optimizes expert pruning and bit-width assignment. It allows higher-precision experts to substitute for severely degraded ones while improving bit-budget utilization. Routing-Consistent RMSNorm Finetune (RoCo) adapts expert input representations through mathematically equivalent transformations. It compensates for quantization errors to reduce routing drift. Extensive experiments demonstrate that ProQuant outperforms existing methods across diverse generative tasks. Code is available at https://github.com/ThrowBug/ProQuant.git.
- Abstract（参考訳）: Mixture-of-Experts (MoE) 大規模な言語モデルでは、スパースアクティベーションによる計算が削減されるが、それでもかなりのストレージコストがかかる。
混合精度後量子化(PTQ)は、異なるビット幅で異なるモデルコンポーネントを定量化することで、これらのコストを削減するが、既存の手法は、厳しいビット予算の下で生成品質を維持するのに苦労することが多い。
1)超低精度での非線形量子化誤差は、層間伝播が無視されるときに過小評価され、(2)直接ルータの微調整はルーティングドリフトを引き起こし、キャリブレーションゲインは下流タスクに一般化しない。
これらの問題に対処するため、我々はMoEモデルのための重量限定PTQフレームワークProQuantを提案する。
Prune-or-Prioritize Mixed-Precision Allocation (PoP)は、専門家のプルーニングとビット幅割り当てを共同で最適化する。
これにより、高精度の専門家は、ビット予算の利用を改善しながら、ひどく劣化したものを置き換えることができる。
Routing-Consistent RMSNorm Finetune (RoCo)は、数学的に等価な変換を通じて専門家の入力表現に適応する。
量子化エラーを補償し、ルーティングのドリフトを減らす。
大規模な実験では、ProQuantは様々な生成タスクで既存のメソッドよりも優れています。
コードはhttps://github.com/ThrowBug/ProQuant.gitで入手できる。
関連論文リスト
- GEMQ: Global Expert-Level Mixed-Precision Quantization for MoE LLMs [40.50894372538921]
混合精度量子化は、その重要性に基づいて、専門家のビット幅を割り当てることで、メモリオーバーヘッドを軽減する。
既存の手法は、量子化によって誘導されるレイヤワイドな重要度推定とオーバルックルータシフトに依存している。
我々はこれらの制限を克服するために,グローバルエキスパートレベル混合精度量子化(GEMQ)を提案する。
論文 参考訳（メタデータ） (2026-05-21T22:23:38Z) - Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization [3.6899131505284455]
学習後量子化(PTQ)は視覚言語モデル(VLM)の計算およびメモリオーバーヘッドを緩和する有効な手法として登場した。
我々は、VLMの量子化のための混合専門家によるトークン対応適応誤差補償である textbfQuant Experts (QE) を提案する。
論文 参考訳（メタデータ） (2026-02-27T14:47:48Z) - D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs [33.883527341335856]
軽量後トレーニング量子化(PTQ)は、メモリ使用量を減らし、低ビット演算子や専用ハードウェアを使わずに実用的なスピードアップを可能にするため、魅力的である。
精度は、重量のみのPTQにおいて、サブ-4ビットの精度で著しく低下する。
D$2$Quantは、ウェイトとアクティベーションの両方の観点から量子化を改善する新しいウェイトオンリーのPTQフレームワークである。
論文 参考訳（メタデータ） (2026-01-30T05:49:48Z) - Enhancing Post-Training Quantization via Future Activation Awareness [84.76726857601753]
ポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)を微調整なしで圧縮する方法として広く用いられている。
本稿では、将来の層活性化を利用して量子化を導出するFuture-Aware Quantization (FAQ)を提案する。
FAQは、後方パス、データ再構成、チューニングを必要とせず、無視できる余分なコストで、従来手法よりも一貫してパフォーマンスを向上する。
論文 参考訳（メタデータ） (2026-01-28T12:03:30Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - LRQ-DiT: Log-Rotation Post-Training Quantization of Diffusion Transformers for Image and Video Generation [41.66473889057111]
Diffusion Transformer (DiTs) は、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成において、優れたパフォーマンスを実現している。
DiTsの高計算コストと大きなパラメータサイズは、リソース制約のあるシナリオでの利用に重大な課題をもたらす。
本稿では,映像・映像生成のための学習後量子化フレームワークLRQ-DiTを提案する。
論文 参考訳（メタデータ） (2025-08-05T14:16:11Z) - MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳（メタデータ） (2025-07-06T08:16:50Z) - RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。
RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。
その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文 参考訳（メタデータ） (2025-02-13T06:44:33Z) - CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。
LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。
CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文 参考訳（メタデータ） (2023-12-13T07:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。