論文の概要: DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs

• arxiv url: http://arxiv.org/abs/2610.13767v1
• Date: Fri, 09 Oct 2026 15:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.659971
• Title: DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
• Title（参考訳）: DualQuant: LLMのためのデュアルスケールキャリブレーションフリーウェイト・アンド・アクティベーション量子化
• Abstract要約: 重み再構成平均正方形誤差(MSE)を直接最小化する2次元キャリブレーションフリーポストトレーニング量子化フレームワークを提案する。 我々のキーとなる観察は、ウェイト・リコンストラクション・エラーによって得られたスケーリング要因が効果的なアクティベーション・リスケーリングを提供し、競争力のあるアクティベーション・量子化を可能にすることである。 結果として実現された実装は、BF16上で最大2.61倍のメモリ削減と2.46倍のスピードアップを実現しながら、フェイク量子化の精度と密接に一致している。
• 参考スコア（独自算出の注目度）: 3.0583214514538084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-bit inference on accelerators with native 4-bit support requires quantizing both weights and activations to realize the full throughput gains these formats provide. While post-training weight quantization has been extensively studied, activation quantization remains considerably more challenging and typically requires calibration data. In this work, we introduce DUALQUANT, a dual-scale, calibration-free post-training quantization framework that directly minimizes the weight-reconstruction Mean Squared Error (MSE) and, as an immediate by-product, yields per-channel activation rescalings prior to activation quantization. Our key observation is that the scaling factors obtained by minimizing weight-reconstruction error provide effective activation rescalings, enabling competitive activation quantization without calibration data. We formulate DUALQUANT as a non-differentiable weight-reconstruction problem and develop an efficient solver based on variable splitting and block coordinate descent, where each subproblem admits a closed-form update. DUALQUANT provides a unified algorithm supporting a wide range of formats, including the full MX family and NVFP4. To our knowledge, DUALQUANT is the first dual-scaling method to formally support MX and NV block formats. Across Llama and Qwen models evaluated on WikiText-2, C4, and zero-shot downstream tasks, DUALQUANT matches or exceeds the accuracy of calibration-based SmoothQuant across most models and formats, and substantially outperforms calibration-free baselines, with large gains for MX and NV block formats. We validate these gains with a real packed W4A4 inference path for Llama-3.1-8B on an RTX 4090. The resulting implementation closely matches the accuracy of fake quantization while delivering up to 2.61x memory reduction and up to 2.46x throughput speedup over BF16.
• Abstract（参考訳）: ネイティブな4ビットサポートを持つアクセラレータ上での低ビット推論では、これらのフォーマットが提供するスループットの完全な向上を実現するために、ウェイトとアクティベーションの両方を定量化する必要がある。 トレーニング後の量化は広く研究されているが、活性化量化は依然としてかなり困難であり、典型的にはキャリブレーションデータを必要とする。 本研究では、重み再構成平均二乗誤差(MSE)を直接最小化し、即時副生成物として、アクティベーション量子化に先立ってチャネルごとのアクティベーション再スケーリングを行うデュアルスケールキャリブレーションフリーなポストトレーニング量子化フレームワークであるDUALQUANTを紹介する。 我々のキーとなる観察は、ウェイト・リコンストラクション・エラーを最小限にして得られたスケーリング要因が効果的なアクティベーション・リスケーリングを提供し、キャリブレーションデータなしで競合アクティベーション・量子化を可能にすることである。 我々は,DuALQUANTを微分不可能な重み再構成問題として定式化し,可変分割とブロック座標降下に基づく効率的な解法を開発し,各サブプロブレムがクローズドフォーム更新を許容する。 DUALQUANTは、完全なMXファミリやNVFP4を含む幅広いフォーマットをサポートする統一されたアルゴリズムを提供する。 我々の知る限り、DUALQUANTはMXおよびNVブロックフォーマットを正式にサポートする最初のデュアルスケーリング手法である。 WikiText-2、C4、およびゼロショットダウンストリームタスクで評価されたLlamaおよびQwenモデル全体で、DUALQUANTは、ほとんどのモデルとフォーマットでキャリブレーションベースのSmoothQuantの精度と一致し、MXおよびNVブロックフォーマットでは大幅に向上し、キャリブレーションのないベースラインを大幅に上回る。 RTX 4090上でのLlama-3.1-8Bに対する実充填W4A4推論経路でこれらの利得を検証する。 結果として実現された実装は、最大2.61倍のメモリ削減と最大2.46倍のスループットをBF16上で実現しながら、フェイク量子化の精度と密接に一致している。

関連論文リスト

• SoloQ: Calibration-Free Quantization for Diffusion Language Models [14.828626704900861]
  SoloQは、ウェイトとアクティベーションを正規化された回転基底にマッピングするキャリブレーションのない量子化フレームワークである。 NVFP4では、SoloQはピークメモリを最大2.61倍に削減し、エンドツーエンドの推論を最大2.24倍に高速化する。
  論文  参考訳（メタデータ） (2026-10-05T17:30:54Z)
• Multi-Scale Dequant: Eliminating Dequantization Bottleneck via Activation Decomposition for Efficient LLM Inference [12.249074183271743]
  量子化は、効率的な大言語モデル(LLM)の推論に不可欠である。 行列乗算のための高精度な低ビット重みを復号化するためのステップ変換は、現代のAIアクセラレーターにとって重要なボトルネックとなっている。 本稿では,GEMM臨界経路から重み/KV重みを除去する量子化フレームワークであるMulti-Scale Dequant(MSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T09:49:56Z)
• QUAD: Quantization and Parameter-Efficient Tuning of LLM with Activation Decomposition [21.13478769431063]
  QUID(Quantization with Activation Decomposition)は、Singular Value Decomposition(SVD)を利用して、有効4ビット量子化のためのアクティベーションアウトリアを抑制するフレームワークである。 W4A4の量子化では94パーセントの精度、W4A4/A8では98%の精度、Llama-3およびQwen-2.5モデルのパラメータ効率の微調整を実現している。
  論文  参考訳（メタデータ） (2025-03-25T05:03:56Z)
• MergeQuant: Accurate 4-bit Static Quantization of Large Language Models by Channel-wise Calibration [23.752021919501207]
  本稿では,チャネルごとの静的量子化フレームワークであるMergeQuantを提案する。 MergeQuantは、量子化ステップマイグレーション(QSM)メソッドを通じて、チャネルごとの量子化ステップと対応するスケーリングと線形マッピングを統合する。 Llama-2-7Bモデルでは、MergeQuantはFP16ベースラインと比較してデコードで最大1.77倍、エンドツーエンドで最大2.06倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-03-07T04:52:28Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Mitigating the Impact of Outlier Channels for Language Model Quantization with Activation Regularization [62.15918574997175]
  言語モデルには、平均値が他のチャネルよりも桁違いに高い外れ値チャネルが含まれていることが知られている。 本稿では,QAT(Quantization-Aware Training)とアクティベーション・カルトシス・正規化(Activation Kurtosis regularization)によって,レイヤの入力を正規化する戦略を提案する。 入力と出力の両方を正規化することは、入力量子化の難しさを重みに"移行"するのを防ぐために重要であることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:25:30Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。