論文の概要: Beyond Expert Rankings: Contrast Calibration for Mixed-Precision MoE Quantization

• arxiv url: http://arxiv.org/abs/2610.20353v1
• Date: Wed, 14 Oct 2026 15:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.223499
• Title: Beyond Expert Rankings: Contrast Calibration for Mixed-Precision MoE Quantization
• Title（参考訳）: エキスパートランキングを超えて - 混合精度MoE量子化のコントラスト校正
• Abstract要約: Mixture-of-experts (MoE)言語モデルはトークン毎に数名の専門家のみをアクティベートするが、すべての専門家の重みを格納しなければならない。 混合精度量子化は、敏感な専門家に高いビット幅を割り当て、回復力のある専門家に低いビット幅を割り当てることで、このストレージコストを削減する。 混合精度MoE量子化のためのコントラスト校正型アロケーションフレームワークであるNatScaleを提案する。
• 参考スコア（独自算出の注目度）: 14.915108672301306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-experts (MoE) language models activate only a few experts per token, yet all expert weights must be stored. Mixed-precision quantization reduces this storage cost by assigning higher bit-widths to sensitive experts and lower bit-widths to resilient ones, but expert rankings alone do not determine how strongly to weight their errors. To address this gap, we propose NatScale, a contrast-calibrated allocation framework for mixed-precision MoE quantization. It uses a model-specific power transformation to calibrate gradient-based expert weights to an information-theoretic contrast target while preserving rankings. We jointly evaluate each expert's gate, up and down configurations to estimate its output error. We then combine these errors and calibrated weights with an existing prior based on weight spectra, variance and precision decay to select configurations under a storage budget. Across three models, NatScale achieves the lowest native-to-quantized KL divergence and the highest top-token agreement in all nine settings against five allocation baselines. It also yields the lowest perplexity in seven settings. These findings highlight the importance of objective-aware precision allocation.
• Abstract（参考訳）: Mixture-of-experts (MoE)言語モデルはトークン毎に数名の専門家のみをアクティベートするが、すべての専門家の重みを格納しなければならない。 混合精度量子化は、敏感な専門家に高いビット幅を割り当て、回復力のある専門家に低いビット幅を割り当てることによって、このストレージコストを削減するが、専門家のランキングだけではエラーの重み付けを強く決めることはできない。 このギャップに対処するために、混合精度MoE量子化のためのコントラスト校正配置フレームワークであるNatScaleを提案する。 モデル固有のパワートランスフォーメーションを使用して、勾配に基づく専門家の重みを、ランクを維持しながら情報理論のコントラストターゲットに調整する。 出力エラーを推定するために、各専門家のゲート、上下構成を共同で評価する。 次に、これらの誤差とキャリブレーションされた重みを、重みスペクトル、ばらつき、精度劣化に基づく既定の既定値と組み合わせて、記憶予算の下で選択した構成を選択する。 3つのモデル全体で、NatScaleは5つのアロケーションベースラインに対して、ネイティブからクエンタライズされたKLの最も低い分散と、9つの設定すべてで最高レベルの合意を達成している。 また、7つの設定で最も難易度が低い。 これらの知見は,客観的な精度配分の重要性を浮き彫りにした。

関連論文リスト

• FidelityQ: Preserving Predictive Fidelity in Ultra-Low-Bit Language Model Quantization [37.82705467699471]
  本稿では,2ビットまでの重み精度で予測忠実度を維持するスカラー量子化フレームワークを提案する。 LLaMAおよびQwenファミリーの実験は、重量限定および共同量子化設定におけるFidelityQの有効性を示した。
  論文  参考訳（メタデータ） (2026-10-10T14:06:52Z)
• Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models [21.86864148430797]
  量子化は大規模言語モデルの展開に広く用いられているが、不確実性に対する影響は主要な目的として扱われることは滅多にない。 ターゲット依存不確実性保存問題として量子化のためのキャリブレーションデータ選択を行う。 完全精度予測を用いた軽量な事前量子化レシピファミリーであるDoub-Preserving Quantization (DPQ)を紹介する。
  論文  参考訳（メタデータ） (2026-08-21T12:07:49Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• AlphaQ: Calibration-Free Bit Allocation for Mixture-of-Experts Quantization [104.10572215799239]
  混合精度量子化は、異なるビット幅を異なる専門家に割り当てることで、フットプリントを大幅に削減することができる。 既存のアプローチは、専門家の重要度を推定し、ビット割り当てを決定するためにキャリブレーションデータに依存している。 我々は,MoE量子化のためのキャリブレーションフリーなビット割り当て手法であるAlphaQを提案する。
  論文  参考訳（メタデータ） (2026-06-03T15:03:18Z)
• GEMQ: Global Expert-Level Mixed-Precision Quantization for MoE LLMs [40.50894372538921]
  混合精度量子化は、その重要性に基づいて、専門家のビット幅を割り当てることで、メモリオーバーヘッドを軽減する。 既存の手法は、量子化によって誘導されるレイヤワイドな重要度推定とオーバルックルータシフトに依存している。 我々はこれらの制限を克服するために,グローバルエキスパートレベル混合精度量子化(GEMQ)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T22:23:38Z)
• Efficient Quantization of Mixture-of-Experts with Theoretical Generalization Guarantees [13.67631667766697]
  Sparse Mixture-of-Experts (MoE) は、入力毎に少数の専門家のみを活性化することにより、言語とビジョンモデルのスケーリングを効率的に行うことができる。 MoEは推論中にかなりのメモリオーバーヘッドを発生させる。 本稿では,学習中のルータl2ノルムの変化に基づいて,各専門家にビット幅を割り当てる,理論的に基礎付けられた混合精度戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-07T23:17:23Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。