論文の概要: AlphaQ: Calibration-Free Bit Allocation for Mixture-of-Experts Quantization

• arxiv url: http://arxiv.org/abs/2606.04980v1
• Date: Wed, 03 Jun 2026 15:03:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.844792
• Title: AlphaQ: Calibration-Free Bit Allocation for Mixture-of-Experts Quantization
• Title（参考訳）: AlphaQ:Mixture-of-Experts量子化のためのキャリブレーションフリービット割り当て
• Authors: Wanqi Yang, Yuexiao Ma, Alexander Conzelmann, Xiawu Zheng, Michael W. Mahoney, T. Konstantin Rusch, Shiwei Liu,
• Abstract要約: 混合精度量子化は、異なるビット幅を異なる専門家に割り当てることで、フットプリントを大幅に削減することができる。 既存のアプローチは、専門家の重要度を推定し、ビット割り当てを決定するためにキャリブレーションデータに依存している。 我々は,MoE量子化のためのキャリブレーションフリーなビット割り当て手法であるAlphaQを提案する。
• 参考スコア（独自算出の注目度）: 104.10572215799239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) architectures scale model capacity through sparse expert activation, but their deployment remains memory-bound because all expert weights must reside in memory. Mixed-precision quantization can substantially reduce this footprint by assigning different bit-widths to different experts. Existing approaches, however, typically rely on calibration data to estimate expert importance and determine bit allocation. For frontier MoE LLMs, the original training data, and hence the true training distribution, is proprietary and inaccessible. As a result, calibration sets are inevitably imperfect surrogates, and this can misestimate expert utilization and lead to suboptimal bit allocation. Motivated by the substantial cross-expert quality variability observed in modern MoE models, and by the success of Heavy-Tailed Self-Regularization (HT-SR) theory at predicting neural network model quality without access to training or testing data, we propose AlphaQ, a calibration-free bit-allocation method for MoE quantization. AlphaQ draws on HT-SR theory and follows a simple principle: experts with more heavy-tailed weight spectra are typically better trained and hence should receive higher bit-widths, while experts with weaker heavy-tailed structure can be quantized more aggressively. AlphaQ operationalizes this principle by measuring expert-wise spectral heavy-tailedness and solving a budget-constrained optimization problem that minimizes total quantization error under a global bit-budget constraint. Across several MoE models, AlphaQ consistently outperforms calibration-based baselines under matched bit budgets. Notably, on Qwen1.5-MoE, AlphaQ achieves near full-precision accuracy with an average expert precision of only 3.5 bits, while delivering more than 4$\times$ memory compression. Our code is available at https://github.com/Superone77/AlphaQ.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、スパース専門家のアクティベーションを通じてモデルのキャパシティをスケールするが、すべての専門家の重みがメモリに格納されなければならないため、そのデプロイメントはメモリバウンドのままである。 混合精度量子化は、異なるビット幅を異なる専門家に割り当てることで、このフットプリントを大幅に削減することができる。 しかし、既存のアプローチは通常、専門家の重要度を推定し、ビット割り当てを決定するためにキャリブレーションデータに依存する。 フロンティアのMOE LLMでは、オリジナルのトレーニングデータ、すなわち真のトレーニング分布はプロプライエタリでアクセス不能である。 その結果、キャリブレーションセットは必然的に不完全なサロゲートであり、これは専門家の利用を誤って推定し、最適以下のビット割り当てにつながる。 現代のMoEモデルで観測されるかなりのクロスエキスパート品質の変動と、トレーニングやテストデータへのアクセスなしにニューラルネットワークモデルの品質を予測するヘビータイド自己規則化(HT-SR)理論の成功により、我々は、MoE量子化のためのキャリブレーションフリーなビット割り当て手法であるAlphaQを提案する。 AlphaQは、HT-SR理論に基づいて、単純な原理に従っている: 重い尾を持つスペクトルを持つ専門家は、通常より訓練され、より高いビット幅を受け取るべきであるが、弱い尾を持つ専門家はより積極的に定量化できる。 AlphaQは、専門的なスペクトルスペクトル重み付け度を測定し、グローバルビット予算制約の下で全量子化誤差を最小化する予算制約最適化問題を解くことで、この原理を運用する。 いくつかのMoEモデルにおいて、AlphaQは整合ビット予算の下でキャリブレーションベースのベースラインを一貫して上回っている。 特に、Qwen1.5-MoEでは、AlphaQは、メモリ圧縮を4$\times$以上提供しながら、平均的専門家精度を3.5ビットでほぼ正確に達成している。 私たちのコードはhttps://github.com/Superone77/AlphaQ.comで公開されています。

関連論文リスト

• GEMQ: Global Expert-Level Mixed-Precision Quantization for MoE LLMs [40.50894372538921]
  混合精度量子化は、その重要性に基づいて、専門家のビット幅を割り当てることで、メモリオーバーヘッドを軽減する。 既存の手法は、量子化によって誘導されるレイヤワイドな重要度推定とオーバルックルータシフトに依存している。 我々はこれらの制限を克服するために,グローバルエキスパートレベル混合精度量子化(GEMQ)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T22:23:38Z)
• Efficient Quantization of Mixture-of-Experts with Theoretical Generalization Guarantees [13.67631667766697]
  Sparse Mixture-of-Experts (MoE) は、入力毎に少数の専門家のみを活性化することにより、言語とビジョンモデルのスケーリングを効率的に行うことができる。 MoEは推論中にかなりのメモリオーバーヘッドを発生させる。 本稿では,学習中のルータl2ノルムの変化に基づいて,各専門家にビット幅を割り当てる,理論的に基礎付けられた混合精度戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-07T23:17:23Z)
• Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization [3.6899131505284455]
  学習後量子化(PTQ)は視覚言語モデル(VLM)の計算およびメモリオーバーヘッドを緩和する有効な手法として登場した。 我々は、VLMの量子化のための混合専門家によるトークン対応適応誤差補償である textbfQuant Experts (QE) を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:47:48Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• MoPEQ: Mixture of Mixed Precision Quantized Experts [0.1262792599323502]
  混合精度量子化(Mixed Precision Quantization)は、モデル内の層感度と重要性に基づいて、LLM/VLMの異なる層に異なる精度を割り当てる。 本稿では,各専門家に最適なビット幅を割り当てるポストトレーニング量子化アルゴリズムMoPEQを提案する。 本手法は,ヘッセントレース近似を用いて各専門家の感度を解析することにより,精度とモデルサイズをバランスさせる。
  論文  参考訳（メタデータ） (2025-09-02T17:04:59Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。