論文の概要: CRVQ: Channel-Relaxed Vector Quantization for Extreme Compression of LLMs

• arxiv url: http://arxiv.org/abs/2412.09282v2
• Date: Wed, 19 Feb 2025 05:50:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:57:11.627074
• Title: CRVQ: Channel-Relaxed Vector Quantization for Extreme Compression of LLMs
• Title（参考訳）: CRVQ:LLMの極端圧縮のためのチャネル緩和ベクトル量子化
• Authors: Yuzhuang Xu, Shiyu Ji, Qingfu Zhu, Wanxiang Che,
• Abstract要約: ポストトレーニング量子化(PTQ)は、この野心を達成するためのスターアプローチとして登場した。 本稿では,PTQベースラインの性能を大幅に向上させる新しい手法であるChannel-Relaxed Vector Quantization (CRVQ)を提案する。
• 参考スコア（独自算出の注目度）: 43.769229349666396
• License:
• Abstract: Powerful large language models (LLMs) are increasingly expected to be deployed with lower computational costs, enabling their capabilities on resource-constrained devices. Post-training quantization (PTQ) has emerged as a star approach to achieve this ambition, with best methods compressing weights to less than 2 bit on average. In this paper, we propose Channel-Relaxed Vector Quantization (CRVQ), a novel technique that significantly improves the performance of PTQ baselines at the cost of only minimal additional bits. This state-of-the-art extreme compression method achieves its results through two key innovations: (1) carefully selecting and reordering a very small subset of critical weight channels, and (2) leveraging extended codebooks to relax the constraint of critical channels. With our method, we demonstrate a 38.9\% improvement over the current strongest sub-2-bit PTQ baseline, enabling nearer lossless 1-bit compression. Furthermore, our approach offers flexible customization of quantization bit-width and performance, providing a wider range of deployment options for diverse hardware platforms.
• Abstract（参考訳）: 強力な大規模言語モデル(LLM)は、計算コストを低くしてデプロイされることがますます期待されている。 ポストトレーニング量子化(PTQ)は、この野心を達成するためのスター・アプローチとして登場し、最良の方法は平均で2ビット未満に重量を圧縮することである。 本稿では,PTQベースラインの性能を大幅に向上させる新しい手法であるChannel-Relaxed Vector Quantization (CRVQ)を提案する。 この最先端の極端な圧縮手法は,(1)臨界重みチャネルのごく小さなサブセットを慎重に選択・再注文すること,(2)臨界重みチャネルの制約を緩和するために拡張されたコードブックを活用すること,の2つの重要な革新を通じて,その結果を達成している。 提案手法では,現在最強のサブ2ビットPTQベースラインよりも38.9\%向上し,損失のない1ビット圧縮を実現している。 さらに、我々のアプローチは量子化ビット幅と性能の柔軟なカスタマイズを提供し、多様なハードウェアプラットフォームに対する幅広いデプロイメントオプションを提供します。

関連論文リスト

• PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [95.98801201266099]
  拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。 本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。 我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-26T04:49:42Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• PV-Tuning: Beyond Straight-Through Estimation for Extreme LLM Compression [31.30170080420504]
  最先端の量子化手法には、限られたキャリブレーションデータに対する圧縮パラメータの微調整(一部)が含まれる。 既存の微調整戦略を一般化し改善する表現に依存しないフレームワークであるPV-Tuningを提案する。
  論文  参考訳（メタデータ） (2024-05-23T17:57:04Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Optimal Brain Compression: A Framework for Accurate Post-Training Quantization and Pruning [29.284147465251685]
  重み付けと量子化の両方を統一した環境でカバーする新しい圧縮フレームワークを提案する。 既存のポストトレーニング手法の圧縮精度トレードオフにより, 大幅な改善が期待できることを示す。
  論文  参考訳（メタデータ） (2022-08-24T14:33:35Z)
• OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
  本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。 OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。 本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:05:25Z)
• Automated Model Compression by Jointly Applied Pruning and Quantization [14.824593320721407]
  従来のディープ圧縮フレームワークでは、反復的にネットワークプルーニングと量子化を行うことで、モデルのサイズと計算コストを削減できる。 ネットワークプルーニングと量子化を統一的な共同圧縮問題として統合し,AutoMLを用いて自動的に解き出すことで,この問題に対処する。 共同適用プルーニングと量子化(AJPQ)による自動モデル圧縮を提案する。
  論文  参考訳（メタデータ） (2020-11-12T07:06:29Z)
• PAMS: Quantized Super-Resolution via Parameterized Max Scale [84.55675222525608]
  深部畳み込みニューラルネットワーク(DCNN)は超解像処理(SR)において優位な性能を示した 本稿では,PAMS(Parameterized Max Scale)と呼ばれる新しい量子化手法を提案する。 実験により,提案手法はEDSRやRDNなどの既存のSRモデルを適切に圧縮・高速化できることが示された。
  論文  参考訳（メタデータ） (2020-11-09T06:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。