論文の概要: D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs

• arxiv url: http://arxiv.org/abs/2602.02546v1
• Date: Fri, 30 Jan 2026 05:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:14.921306
• Title: D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs
• Title（参考訳）: D$^2$Quant: LLMの高精度低ビット後処理量量子化
• Authors: Xianglong Yan, ChengZhu Bao, Zhiteng Li, Tianao Zhang, Shaoqiu Zhang, Ruobing Xie, Samm Sun, Yulun Zhang,
• Abstract要約: 軽量後トレーニング量子化(PTQ)は、メモリ使用量を減らし、低ビット演算子や専用ハードウェアを使わずに実用的なスピードアップを可能にするため、魅力的である。 精度は、重量のみのPTQにおいて、サブ-4ビットの精度で著しく低下する。 D$2$Quantは、ウェイトとアクティベーションの両方の観点から量子化を改善する新しいウェイトオンリーのPTQフレームワークである。
• 参考スコア（独自算出の注目度）: 33.883527341335856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) deliver strong performance, but their high compute and memory costs make deployment difficult in resource-constrained scenarios. Weight-only post-training quantization (PTQ) is appealing, as it reduces memory usage and enables practical speedup without low-bit operators or specialized hardware. However, accuracy often degrades significantly in weight-only PTQ at sub-4-bit precision, and our analysis identifies two main causes: (1) down-projection matrices are a well-known quantization bottleneck, but maintaining their fidelity often requires extra bit-width; (2) weight quantization induces activation deviations, but effective correction strategies remain underexplored. To address these issues, we propose D$^2$Quant, a novel weight-only PTQ framework that improves quantization from both the weight and activation perspectives. On the weight side, we design a Dual-Scale Quantizer (DSQ) tailored to down-projection matrices, with an absorbable scaling factor that significantly improves accuracy without increasing the bit budget. On the activation side, we propose Deviation-Aware Correction (DAC), which incorporates a mean-shift correction within LayerNorm to mitigate quantization-induced activation distribution shifts. Extensive experiments across multiple LLM families and evaluation metrics show that D$^2$Quant delivers superior performance for weight-only PTQ at sub-4-bit precision. The code and models will be available at https://github.com/XIANGLONGYAN/D2Quant.
• Abstract（参考訳）: 大規模言語モデル(LLM)は強力なパフォーマンスを提供するが、その高い計算とメモリコストにより、リソース制約のあるシナリオでのデプロイメントが困難になる。 軽量後トレーニング量子化(PTQ)は、メモリ使用量を減らし、低ビット演算子や特殊なハードウェアを使わずに実用的なスピードアップを可能にするため、魅力的である。 しかし, 重みのみのPTQにおいて, 精度は4ビット以下の精度で著しく低下することが多く, 1) ダウンプロジェクション行列はよく知られた量子化ボトルネックであるが, その忠実さを維持するには余分なビット幅が必要であり, 2) 重み量子化は活性化偏差を誘導するが, 有効補正策は未解明のままである。 これらの問題に対処するために、ウェイトとアクティベーションの両方の観点から量子化を改善する新しいウェイトオンリーのPTQフレームワークであるD$^2$Quantを提案する。 重みの面では、ダウンプロジェクション行列に適したDual-Scale Quantizer (DSQ) を設計し、ビット予算を増大させることなく精度を大幅に向上させる吸収性スケーリング係数を設計する。 アクティベーション側では、量子化誘起のアクティベーション分布シフトを軽減するために、LayerNorm内に平均シフト補正を組み込んだDefiation-Aware Correction (DAC)を提案する。 D$^2$Quantは、サブ4ビット精度で重量のみのPTQに対して優れた性能を示す。 コードとモデルはhttps://github.com/XIANGLONGYAN/D2Quant.comから入手できる。

関連論文リスト

• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices [41.17378536966264]
  低ランク量子化(LRQ)は、低ランクウェイトスケーリング行列を利用して中間トランスフォーマーブロックの出力を再構成する。 低ランク構造によるパラメータ共有により、LRQは重みの個別のスケーリングを可能にしながら、パラメータを著しく少ない値で学習するのみである。 従来のLLM PTQよりも, (i) 8ビットの重みとアクティベーションの量子化, (ii) 4ビットの重みと8ビットのアクティベーションの量子化, (iii) 低ビットの重みのみの量子化スキームにおいて, LRQの優位性を示す。
  論文  参考訳（メタデータ） (2024-07-16T09:32:07Z)
• OAC: Output-adaptive Calibration for Accurate Post-training Quantization [28.67781845829386]
  大規模言語モデル(LLM)を圧縮するPTQ(Post-training Quantization)技術が開発されている。 ほとんどのPTQは、モデル出力を無視した層ワイドユークリッド損失に基づいて量子化誤差を定式化する。 キャリブレーションプロセスにモデル出力を組み込むために,出力適応量子化(OAC)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T20:01:17Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。