論文の概要: Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression

• arxiv url: http://arxiv.org/abs/2510.20984v1
• Date: Thu, 23 Oct 2025 20:19:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.313865
• Title: Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression
• Title（参考訳）: 低ビットLDM圧縮のためのグループ格子ベクトル量子化器の学習
• Authors: Xi Zhang, Xiaolin Wu, Jiamang Wang, Weisi Lin,
• Abstract要約: 本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
• 参考スコア（独自算出の注目度）: 57.54335545892155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities but typically require extensive computational resources and memory for inference. Post-training quantization (PTQ) can effectively reduce these demands by storing weights in lower bit-width formats. However, standard uniform quantization often leads to notable performance degradation, particularly in low-bit scenarios. In this work, we introduce a Grouped Lattice Vector Quantization (GLVQ) framework that assigns each group of weights a customized lattice codebook, defined by a learnable generation matrix. To address the non-differentiability of the quantization process, we adopt Babai rounding to approximate nearest-lattice-point search during training, which enables stable optimization of the generation matrices. Once trained, decoding reduces to a simple matrix-vector multiplication, yielding an efficient and practical quantization pipeline. Experiments on multiple benchmarks show that our approach achieves a better trade-off between model size and accuracy compared to existing post-training quantization baselines, highlighting its effectiveness in deploying large models under stringent resource constraints. Our source code is available on GitHub repository: https://github.com/xzhang9308/GLVQ.
• Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい能力を示してきたが、一般的に推論には広範な計算資源とメモリを必要とする。 後トレーニング量子化(PTQ)は、低ビット幅のフォーマットに重みを格納することで、これらの要求を効果的に低減することができる。 しかし、標準的な均一量子化は、特に低ビットシナリオにおいて、顕著な性能劣化をもたらすことが多い。 本稿では,学習可能な生成行列によって定義された格子コードブックを各重みのグループに割り当てる,GLVQ(Grouped Lattice Vector Quantization)フレームワークを提案する。 量子化過程の非微分性に対処するため, 学習中の近接格子点探索にババイラウンドを採用することにより, 生成行列の安定な最適化を実現する。 一度訓練すると、復号化は単純な行列ベクトル乗法に還元され、効率的で実用的な量子化パイプラインが得られる。 複数のベンチマーク実験から,提案手法は既存のトレーニング後の量子化ベースラインよりもモデルサイズと精度のトレードオフを良好に達成し,厳密なリソース制約下での大規模モデルのデプロイの有効性を浮き彫りにしている。 ソースコードはGitHubリポジトリで入手できます。

関連論文リスト

• Q-Palette: Fractional-Bit Quantizers Toward Optimal Bit Allocation for Efficient LLM Deployment [15.802372921412198]
  我々は,大言語モデル (LLM) の重み付けを,校正データはほとんどあるいは全く使わずに定量化する,PTQ(height-only post-training Quantization)について検討した。 まず、与えられたビット予算下でのガウス化重みに対する情報理論的に最適なビット割り当てを導出し、ガウスの歪み率境界に近づく微細な分数ビット量子化器が、ほぼ最適量子化性能を達成するために不可欠であることを明らかにした。
  論文  参考訳（メタデータ） (2025-09-24T15:10:44Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
  本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。 当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。 我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
  論文  参考訳（メタデータ） (2023-09-05T01:39:09Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。