論文の概要: GQSA: Group Quantization and Sparsity for Accelerating Large Language Model Inference

• arxiv url: http://arxiv.org/abs/2412.17560v2
• Date: Wed, 19 Feb 2025 11:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:55:56.711617
• Title: GQSA: Group Quantization and Sparsity for Accelerating Large Language Model Inference
• Title（参考訳）: GQSA:大規模言語モデル推論の高速化のためのグループ量子化とスパシティ
• Authors: Chao Zeng, Songwei Liu, Shu Yang, Fangmin Chen, Xing Mei, Lean Fu,
• Abstract要約: Group Quantization and Sparse Acceleration (GQSA)は、LLMに適した新しい圧縮技術である。 圧縮モデルの性能優位性を保証するための2段階スパース最適化手法を提案する。 実験の結果、GQSA W4S50%圧縮設定の下では、モデルの精度は2:4プルーニングとW2量子化の両方を上回ることがわかった。
• 参考スコア（独自算出の注目度）: 5.358880304650258
• License:
• Abstract: Model compression has emerged as a mainstream solution to reduce memory usage and computational overhead. This paper presents Group Quantization and Sparse Acceleration (GQSA), a novel compression technique tailored for LLMs. Traditional methods typically focus exclusively on either quantization or sparsification, but relying on a single strategy often results in significant performance loss at high compression rates. In contrast, GQSA integrates quantization and sparsification in a tightly coupled manner, leveraging GPU-friendly structured group sparsity and quantization for efficient acceleration. Building upon system-algorithm co-design principles, we propose a two-stage sparse optimization strategy that ensures the performance superiority of the compressed model. On the engine side, we introduce a "task-centric" parallel strategy, which, to the best of our knowledge, is the first application in the domain of sparse computing. Compared to the traditional 2:4 sparse method, the GQSA offers a more flexible and adjustable sparsity rate, as well as a higher weight compression rate, and is efficiently compatible with weight-only quantization methods. Experimental results demonstrate that, under the GQSA W4S50% compression setting, the model's accuracy surpasses that of both 2:4 pruning and W2 quantization. Furthermore, at the inference level, GQSA outperforms W2 by 1.26$\times$ and 2:4 pruning by 2.35$\times$ in terms of speed.
• Abstract（参考訳）: モデル圧縮は、メモリ使用量と計算オーバーヘッドを減らす主要なソリューションとして登場した。 本稿では,LLMに適した新しい圧縮技術であるグループ量子化・スパース加速法(GQSA)を提案する。 従来の手法は量子化とスパシフィケーションにのみ焦点をあてるが、単一の戦略に依存すると高い圧縮率で大きな性能損失が生じる。 対照的に、GQSAは量子化とスパーシフィケーションを緊密に結合した方法で統合し、GPUフレンドリーな構造化グループ空間と量子化を利用して効率的な加速を行う。 システム・アルゴリズムの共設計原理に基づいて,圧縮モデルの性能上の優位性を保証する2段階のスパース最適化戦略を提案する。 エンジン側では"タスク中心"の並列戦略を導入しています。これは私たちの知る限り、スパースコンピューティングの領域における最初のアプリケーションです。 従来の2:4スパース法と比較して、GQSAはより柔軟で調整可能なスパース率とより高い重量圧縮率を提供し、重量のみの量子化法と効率的に互換性がある。 実験の結果、GQSA W4S50%圧縮設定の下では、モデルの精度は2:4プルーニングとW2量子化の両方を上回ることがわかった。 さらに、推定レベルでは、GQSAはW2を1.26$\times$、2:4プルーニングを2.35$\times$で上回る。

関連論文リスト

• GANQ: GPU-Adaptive Non-Uniform Quantization for Large Language Models [2.1388885579612804]
  GANQは、ハードウェア効率の良いルックアップテーブルベースのmpGEMMに最適化されたレイヤーワイズ後の非一様量子化フレームワークである。 広汎な実験は、3ビットおよび4ビット量子化の最先端手法と比較して、GANQのFP16ベースラインからのパープレキシティギャップを低減する能力を示している。
  論文  参考訳（メタデータ） (2025-01-22T15:29:09Z)
• CRVQ: Channel-Relaxed Vector Quantization for Extreme Compression of LLMs [43.769229349666396]
  ポストトレーニング量子化(PTQ)は、この野心を達成するためのスターアプローチとして登場した。 本稿では,PTQベースラインの性能を大幅に向上させる新しい手法であるChannel-Relaxed Vector Quantization (CRVQ)を提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:45:11Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• FantastIC4: A Hardware-Software Co-Design Approach for Efficiently Running 4bit-Compact Multilayer Perceptrons [19.411734658680967]
  深層ニューラルネットワーク(DNN)の高効率な実行エンジンを得るためのソフトウェアハードウェア最適化パラダイムを提案する。 私たちのアプローチは、予測性能の高い多層パーセプトロン(MLP)の面積と電力要件を低減するための手段として、圧縮を中心にしています。 仮想超大規模FPGA XCVU440デバイス実装では総消費電力3.6Wで2.45 TOPSのスループットを達成し、22nmプロセスASICバージョンでは20.17 TOPS/Wの総電力効率を達成できることを示した。
  論文  参考訳（メタデータ） (2020-12-17T19:10:04Z)
• Automated Model Compression by Jointly Applied Pruning and Quantization [14.824593320721407]
  従来のディープ圧縮フレームワークでは、反復的にネットワークプルーニングと量子化を行うことで、モデルのサイズと計算コストを削減できる。 ネットワークプルーニングと量子化を統一的な共同圧縮問題として統合し,AutoMLを用いて自動的に解き出すことで,この問題に対処する。 共同適用プルーニングと量子化(AJPQ)による自動モデル圧縮を提案する。
  論文  参考訳（メタデータ） (2020-11-12T07:06:29Z)
• GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework [94.26938614206689]
  本稿では,GANスライミング(GAN Slimming)と呼ばれる,GAN圧縮のための複数の圧縮手段を組み合わせた最初の統一最適化フレームワークを提案する。 我々はGSを用いて、最先端のトランスファーネットワークであるCartoonGANを最大47倍圧縮し、視覚的品質を最小限に抑える。
  論文  参考訳（メタデータ） (2020-08-25T14:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。