論文の概要: When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization
- arxiv url: http://arxiv.org/abs/2610.11226v1
- Date: Thu, 08 Oct 2026 04:22:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.802127
- Title: When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization
- Title（参考訳）: 低消費電力LLM量子化のための分布ロバストリファインメント
- Abstract要約: ポストトレーニング量子化(PTQ)は、モデル品質を低い精度で保持するために、再構成損失最小化に大きく依存する。
この損失を最小限に抑えることで得られる重み付けは、新しいタスクにおいてより良いモデル性能をもたらす必要はないことを示す。
本稿では、入力活性化分布の制約セットに対する最悪の再配置損失を最小限に抑えるポストホック改善プロセスである分散ロバスト量子化(DRQ)を提案する。
- 参考スコア（独自算出の注目度）: 12.382772717031772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weight-only post-training quantization (PTQ) relies heavily on reconstruction loss minimization to preserve model quality at low precision. We show that the weights favored by minimizing this loss need not yield better model performance on new tasks. In fact, we find that lower reconstruction loss can even degrade model performance on the same calibration data. Our analysis further shows that weights with lower reconstruction loss on calibration data can have higher loss than other weights when the distribution of input activations changes. Motivated by these observations and our analysis, we propose Distributionally Robust Quantization (DRQ), a post-hoc refinement process that minimizes worst-case reconstruction loss over a constrained set of input activation distributions. DRQ refines the integer codes representing quantized weights within the existing quantization grid, keeping quantization parameters and inference operators unchanged. Extensive experiments show that DRQ improves models quantized by six representative PTQ methods, including AWQ, GPTQ, and ParoQuant, and delivers gains across both dense and mixture-of-experts large language models. These results establish DRQ as a general post-hoc refinement framework for weight-only PTQ, achieving better downstream performance without adding inference overhead.
- Abstract（参考訳）: 重量のみのポストトレーニング量子化(PTQ)は、モデル品質を低い精度で保持するために、再構成損失最小化に大きく依存する。
この損失を最小限に抑えることで得られる重み付けは、新しいタスクにおいてより良いモデル性能をもたらす必要はないことを示す。
実際、リコンストラクション損失の低減は、同じキャリブレーションデータ上でのモデル性能を低下させる可能性がある。
さらに, キャリブレーションデータに対する再構成損失が低い重みは, 入力活性化の分布が変化すると, 他の重みよりも高い損失が生じることを示した。
本研究は,これらの観測と解析により,制約された入力活性化分布に対する最悪の再構成損失を最小限に抑える,ポストホック改善プロセスである分散ロバスト量子化(DRQ)を提案する。
DRQは、既存の量子化グリッド内の量子化重みを表す整数コードを洗練し、量子化パラメータと推論演算子を一定に保つ。
拡張実験により、DRQは、AWQ、GPTQ、ParoQuantを含む6つの代表PTQ法で定量化されたモデルを改善し、高密度および高レベルの大言語モデルの両方でゲインを提供することが示された。
これらの結果は、DRQを重量のみのPTQのための一般的なポストホック改善フレームワークとして確立し、推論オーバーヘッドを追加することなく、より優れたダウンストリーム性能を実現する。
関連論文リスト
- Beyond Reconstruction Loss in Post-Training Quantization: Balanced Fitting for Large Vision-Language Models [7.1292230757125905]
後学習量子化(PTQ)は、大規模視覚活性化モデル(LVLM)の効率的な展開を可能にする
近年のLVLMのPTQ法では感度信号が組み込まれているが,完全精度モデルでは再現損失が最小化されている。
本稿では、最適化を超えて精度と正規化のバランスをとる量子化効果に基づくフレームワークであるBa balanced Fittingを提案する。
論文 参考訳（メタデータ） (2026-09-28T09:48:10Z) - Saliency-Aware Regularized Quantization Calibration for Large Language Models [12.382772717031772]
トレーニング後の量子化(PTQ)は、大きな言語モデル(LLM)をメモリとレイテンシの制約下でデプロイするための効果的なアプローチである。
既存のPTQ手法の多くは、所定のキャリブレーションデータセット上の層次再構成誤差を最小限に抑えて量子化パラメータを決定する。
提案された正則化は、キャリブレーションの間、量子化された重みが元の重みに近づき続けることを奨励し、推論時の一般化を改善させる。
論文 参考訳（メタデータ） (2026-05-07T05:33:26Z) - OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization [25.000917754189178]
トレーニング後の重量限定量子化は、モデルサイズを減らし、トークン生成を加速することで、有望なソリューションを提供する。
重量に固有の体系的なアウトリーチが存在することは、依然として大きな障害である。
本稿では,2次低ランク特性によって誘導される付加的な重み抑制を行うOutlier Self-Absorption Quantization (OSAQ)を提案する。
論文 参考訳（メタデータ） (2026-05-06T10:35:25Z) - Rethinking Residual Errors in Compensation-based LLM Quantization [15.416446372209924]
我々は、各量子化層の出力をその完全精度と整合させる非対称キャリブレーションプロセスを導入する。
残差は前層の出力差だけでなく,各層内の補償重みと原重みとの差からも生じる。
提案手法はGPTQとGPTAQの両方とシームレスに統合され,量子化性能が大幅に向上した。
論文 参考訳（メタデータ） (2026-04-09T08:20:59Z) - End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。
重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。
実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
論文 参考訳（メタデータ） (2025-08-21T01:18:27Z) - FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。
ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
論文 参考訳（メタデータ） (2025-06-13T07:57:38Z) - APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。
本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
論文 参考訳（メタデータ） (2025-04-03T11:48:56Z) - TTAQ: Towards Stable Post-training Quantization in Continuous Domain Adaptation [3.7024647541541014]
トレーニング後の量子化(PTQ)は、完全な精度のモデルを小さなキャリブレーションセット上で低ビット表現に量子化することで、ハードウェアの過大なコストを削減する。
従来のPTQメソッドは、動的で絶え間なく変化する現実世界のシナリオで失敗することが多い。
本稿では、従来のPTQの性能劣化に対処するため、TTAQと呼ばれるテスト時間適応のための新しい安定な量子化プロセスを提案する。
論文 参考訳（メタデータ） (2024-12-13T06:34:59Z) - Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。
我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
論文 参考訳（メタデータ） (2024-07-22T09:45:16Z) - Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。
現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。
本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
論文 参考訳（メタデータ） (2024-07-09T12:06:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。