論文の概要: Robust Ultra Low-Bit Post-Training Quantization via Stable Diagonal Curvature Estimate

• arxiv url: http://arxiv.org/abs/2604.13806v1
• Date: Wed, 15 Apr 2026 12:40:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.536839
• Title: Robust Ultra Low-Bit Post-Training Quantization via Stable Diagonal Curvature Estimate
• Title（参考訳）: 安定対角曲率推定によるロバスト超低ビット後トレーニング量子化
• Authors: Jaemin Kim, Sungkyun Kim, Junyeol Lee, Jiwon Seo,
• Abstract要約: PTQ(Post-Training Quantization)は、小さなキャリブレーションセットを活用することで、再トレーニングなしにメモリフットプリントを削減する。 近年のHessian-based PTQ法は、チャネル間の依存関係による量子化誤差を補償するが、そのような手法は低ビット幅で劣化する。 対角ヘッセン近似と反復重み付き最小二乗を用いた頑健なPTQフレームワークであるDASH-Qを提案する。
• 参考スコア（独自算出の注目度）: 9.512361190282261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are widely used across many domains, but their scale makes deployment challenging. Post-Training Quantization (PTQ) reduces memory footprint without retraining by leveraging a small calibration set. Recent Hessian-based PTQ methods compensate quantization error via cross-channel dependencies, but such approaches degrade at low bit-widths due to noisy curvature estimates from limited calibration data. We propose DASH-Q, a robust PTQ framework using diagonal Hessian approximation and iterative weighted least squares. By discarding noise-prone dependencies, DASH-Q filters sampling noise while prioritizing the preservation of salient feature power. We outperform other PTQ baselines in ultra low-bit regime, improving zero-shot accuracy by 7.01% on average and up to 14.01% over the strongest baselines across five baseline LLM models, while showing robust and stable performance with very small calibration data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くのドメインで広く使用されているが、そのスケールはデプロイを困難にしている。 PTQ(Post-Training Quantization)は、小さなキャリブレーションセットを活用することで、再トレーニングなしにメモリフットプリントを削減する。 近年のHessian-based PTQ法は、チャネル間の依存関係による量子化誤差を補正するが、そのような手法は、限られたキャリブレーションデータからのノイズ曲率推定により、低ビット幅で劣化する。 対角ヘッセン近似と反復重み付き最小二乗を用いた頑健なPTQフレームワークであるDASH-Qを提案する。 DASH-Qはノイズ発生依存性を排除し、サンプリングノイズをフィルタし、健全な特徴電力の保存を優先する。 我々は、超低ビット方式のPTQベースラインを上回り、ゼロショット精度を平均7.01%向上し、5つのベースラインLCMモデルで最強のベースラインよりも最大14.01%向上し、非常に小さなキャリブレーションデータで堅牢で安定した性能を示した。

関連論文リスト

• Q-Drift: Quantization-Aware Drift Correction for Diffusion Model Sampling [45.88028371034407]
  ポストトレーニング量子化(PTQ)は、大規模な拡散モデルを展開するための実践的な方法である。 本稿では,量子化誤差を暗黙の摂動として扱うQ-Driftを提案する。 Q-Driftは、キャリブレーションから時間的変動統計を推定し、実際には5つの完全精度/量子化キャリブレーションを必要とする。
  論文  参考訳（メタデータ） (2026-03-18T10:19:36Z)
• Rethinking Output Alignment For 1-bit Post-Training Quantization of Large Language Models [41.677469535447024]
  大きな言語モデル(LLM)は、幅広いNLPタスクに対して強力なパフォーマンスを提供するが、その巨大なサイズは、リソースに制約のあるデバイスへのデプロイメントを妨げる。 トレーニング後の量子化(PTQ)は、リトレーニングを必要とせず、キャリブレーションのための小さなデータセットのみを必要とするため、その効率性に広く採用されている。 ポストトレーニング量子化の最近の進歩は、サブ4ビット法でさえオリジナルのモデル性能のほとんどを維持できることを示した。
  論文  参考訳（メタデータ） (2025-12-25T12:39:36Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• BASE-Q: Bias and Asymmetric Scaling Enhanced Rotational Quantization for Large Language Models [25.783531928577233]
  BASE-Qは、偏差補正と非対称スケーリングを組み合わせて、丸め誤差やクリップ誤差を減らす、シンプルながら強力なアプローチである。 実験では、BASE-Qの有効性が示され、精度のギャップは、QuaRot、SpinQuant、OSTQuantと比較して50.5%、42.9%、29.2%縮小した。
  論文  参考訳（メタデータ） (2025-05-26T14:22:21Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• Rethinking Post-Training Quantization: Introducing a Statistical Pre-Calibration Approach [22.25748046511075]
  ポストトレーニング量子化(PTQ)技術は、精度を維持するためにキャリブレーションプロセスに依存する。 本稿では,キャリブレーションに基づくPTQ手法の先駆者と見なせる重み適応型PTQ法を提案する。 提案手法は,最も一般的なキャリブレーションに基づくPTQ法と同等に動作可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-15T19:44:15Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。