論文の概要: HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression

• arxiv url: http://arxiv.org/abs/2601.06959v1
• Date: Sun, 11 Jan 2026 15:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.08747
• Title: HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression
• Title（参考訳）: HAS-VQ:高密度LDM圧縮のためのヘシアン適応スパースベクトル量子化
• Authors: Vladimer Khasia,
• Abstract要約: HAS-VQ (Hessian-Adaptive Sparse Vec-tor Quantization) は,高感度のアウトレーヤをバルク重量分布から厳密に分離する圧縮フレームワークである。 我々は, SmolLM2-1.7B上のHAS-VQを評価し, 2つの異なる優越性を証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization is essential for deploying Large Language Models (LLMs) on resource- constrained devices. However, standard integer quantization (e.g., INT4) fundamentally degrades per- formance by imposing a uniform grid on the heavy-tailed distribution of weight parameters, particularly in smaller-scale models (e.g., <2B parameters). We introduce HAS-VQ (Hessian-Adaptive Sparse Vec- tor Quantization), a compression framework that strictly decouples high-sensitivity outliers from the bulk weight distribution using second-order sensitivity analysis. HAS-VQ employs a Hessian-Masked Decoupling strategy to isolate sensitive parameters, followed by robust Vector Quantization (VQ) of the remaining dense body. Crucially, we introduce a residual sparse feedback mechanism that corrects quan- tization errors in the most sensitive dimensions, ensuring exact reconstruction of outliers. We evaluate HAS-VQ on SmolLM2-1.7B, demonstrating two distinct regimes of superiority: (1) Pareto Dominance over Integer Baselines: At 4.23 effective bits-per-parameter (BPP), we achieve a perplexity of 14.23, significantly outperforming the standard INT4 baseline (20.03 PPL at 4.71 BPP). (2) High-Fidelity Compression: Relative to the FP16 baseline, HAS-VQ achieves a 2.3x reduction in model size (7.03 BPP) while maintaining statistically indistinguishable perplexity (10.12 vs. 10.04), effectively offering a lossless compression alternative for bandwidth-constrained environments. The code is available at https://github.com/VladimerKhasia/HASVQ
• Abstract（参考訳）: トレーニング後の量子化は、リソース制約のあるデバイスに大規模言語モデル(LLM)をデプロイするために不可欠である。 しかし、標準整数量子化(eg, INT4)は、特に小型モデル(eg, <2Bパラメータ)において、重みパラメータの重み付き分布に一様格子を課すことにより、形式ごとの分解を根本的に行う。 HAS-VQ (Hessian-Adaptive Sparse Vec-tor Quantization) は,2次感度解析を用いて高感度外周をバルク重量分布から厳密に分離する圧縮フレームワークである。 HAS-VQは、過敏なパラメータを分離するためにヘシアン・マスケド・デカップリング戦略を採用し、続いて残った高密度体のロバストなベクトル量子化(VQ)を行う。 重要なことは、最も敏感な次元におけるクオン・タイズ誤差を補正し、外れ値の正確な再構成を確実にする残留スパースフィードバック機構を導入する。 我々はSmolLM2-1.7B上のHAS-VQを評価し,(1)整数ベースラインに対するパレート優位性:4.23有効ビット/パラメータ(BPP)では14.23のパープレキシティを実現し,標準INT4ベースライン(4.71BPPで20.03PPL)を著しく上回った。 2)FP16ベースラインに対して、HAS-VQは統計的に区別不能なパープレキシティ(10.12対10.04)を維持しつつ、モデルサイズ(7.03 BPP)の2.3倍の縮小を実現し、帯域幅制限された環境に対する損失のない圧縮代替手段を効果的に提供する。 コードはhttps://github.com/VladimerKhasia/HASVQで公開されている。

関連論文リスト

• Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Quantization in Large Language Models [0.0]
  ポストトレーニング量子化(PTQ)は、モデル重みの精度を4ビット以下に下げることでこの問題に対処する。 現在の最先端の手法は、塩分量を特定するためにキャリブレーションデータに依存している。 本稿では,データフリーな構造認識仮説を提案する。Singular Value Decomposition (SVD) による主成分として同定された重みは,モデル下流の性能に本質的に重要である。
  論文  参考訳（メタデータ） (2025-12-01T06:58:30Z)
• RSAVQ: Riemannian Sensitivity-Aware Vector Quantization for Large Language Models [17.273189597394072]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 指数関数的に増加するパラメータは、リソース制約のあるデバイスへの展開に重大な課題をもたらす。 LLMの超低ビット量子化を実現する新しいフレームワークであるRSAVQを提案する。
  論文  参考訳（メタデータ） (2025-09-24T01:40:32Z)
• IMPQ: Interaction-Aware Layerwise Mixed Precision Quantization for LLMs [4.655407920049974]
  混合精度量子化は説得力のある解であるが、従来の方法では平均精度が4ビット以下に低下する。 本稿では,これらの制約に対処する2つのイノベーションを提案する。 まず,混合精度量子化問題を階層間の協調ゲームとして構成し,Shapley-based Progressive Quantization Estimation (SPQE)を導入する。 次に、これらのShapley推定値を2次最適化形式に変換する対話型混合精度量子化(IMPQ)を提案する。
  論文  参考訳（メタデータ） (2025-09-18T21:59:40Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。