論文の概要: MVQ:Towards Efficient DNN Compression and Acceleration with Masked Vector Quantization

• arxiv url: http://arxiv.org/abs/2412.10261v2
• Date: Mon, 16 Dec 2024 08:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:55:33.108995
• Title: MVQ:Towards Efficient DNN Compression and Acceleration with Masked Vector Quantization
• Title（参考訳）: MVQ:Masked Vector QuantizationによるDNN圧縮・高速化に向けて
• Authors: Shuaiting Li, Chengxuan Wang, Juncan Deng, Zeyu Wang, Zewen Ye, Zongsheng Wang, Haibin Shen, Kejie Huang,
• Abstract要約: 限られた数のコードワードで重要な重みをよりよく近似することを目的としたMVQと呼ばれる新しいアプローチが提案されている。 本アルゴリズムは,画像分類,オブジェクト検出,セグメンテーションタスクの様々なモデルで検証される。 ASIC評価では, MVQ加速器はエネルギー効率を2.3$times$で向上し, ベースEWS加速器と比較してサイストリックアレイのサイズを55%削減する。
• 参考スコア（独自算出の注目度）: 8.057807176915896
• License:
• Abstract: Vector quantization(VQ) is a hardware-friendly DNN compression method that can reduce the storage cost and weight-loading datawidth of hardware accelerators. However, conventional VQ techniques lead to significant accuracy loss because the important weights are not well preserved. To tackle this problem, a novel approach called MVQ is proposed, which aims at better approximating important weights with a limited number of codewords. At the algorithm level, our approach removes the less important weights through N:M pruning and then minimizes the vector clustering error between the remaining weights and codewords by the masked k-means algorithm. Only distances between the unpruned weights and the codewords are computed, which are then used to update the codewords. At the architecture level, our accelerator implements vector quantization on an EWS (Enhanced weight stationary) CNN accelerator and proposes a sparse systolic array design to maximize the benefits brought by masked vector quantization.\\ Our algorithm is validated on various models for image classification, object detection, and segmentation tasks. Experimental results demonstrate that MVQ not only outperforms conventional vector quantization methods at comparable compression ratios but also reduces FLOPs. Under ASIC evaluation, our MVQ accelerator boosts energy efficiency by 2.3$\times$ and reduces the size of the systolic array by 55\% when compared with the base EWS accelerator. Compared to the previous sparse accelerators, MVQ achieves 1.73$\times$ higher energy efficiency.
• Abstract（参考訳）: ベクトル量子化(VQ)はハードウェアフレンドリーなDNN圧縮手法であり、ハードウェアアクセラレータのストレージコストと重み付けデータ幅を削減できる。 しかし,従来のVQ手法では,重みがあまり保存されていないため,精度が著しく低下する。 この問題に対処するために,少数のコードワードで重要な重みをよりよく近似することを目的としたMVQと呼ばれる新しい手法が提案されている。 アルゴリズムレベルでは、N:Mプルーニングにより重要でない重みを除去し、残りの重みと符号語の間のベクトルクラスタリング誤差をマスク付きk-meansアルゴリズムにより最小化する。 未処理の重みとコードワードの間の距離のみが計算され、コードワードを更新するために使用される。 アーキテクチャレベルでは、我々の加速器は、EWS(Enhanced weight stationary) CNNアクセラレーター上でベクトル量子化を実装し、マスク付きベクトル量子化による利点を最大化するためのスパースシストリックアレイ設計を提案する。 我々のアルゴリズムは画像分類、オブジェクト検出、セグメンテーションタスクの様々なモデルで検証されている。 実験結果から、MVQは従来のベクトル量子化法を同等の圧縮比で上回るだけでなく、FLOPも低減することが示された。 ASIC の評価では, MVQ 加速器はエネルギー効率を 2.3$\times$ に向上し, 基本 EWS 加速器と比較してサイストリックアレイのサイズを 55\% に削減する。 従来のスパース加速器と比較して、MVQは1.73$\times$高エネルギー効率を達成する。

関連論文リスト

• Pyramid Vector Quantization for LLMs [8.779688608449902]
  大規模言語モデルのためのピラミッドベクトル量子化(PVQ)。 PVQは1次元球面に点を投影することで球面上の固定整数格子を用いており、メモリに明示的なコードブックを必要とせずに効率的な符号化と復号を行うことができる。 比較手法と比較した場合, 性能と重量当たりのビット, アクティベーション当たりのビット間でのパリト最適トレードオフにより, 最先端の量子化性能を実現する。
  論文  参考訳（メタデータ） (2024-10-22T11:57:32Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• QET: Enhancing Quantized LLM Parameters and KV cache Compression through Element Substitution and Residual Clustering [5.363038867793461]
  量子化前後の行列間の距離を最小化するために、量子化誤差最小化問題を定式化する。 行列量子化は、Large Language Models (LLM) 重み量子化、ベクトルデータベース、KVキャッシュ量子化、グラフ圧縮、画像圧縮など、様々なアプリケーションにおいて重要である。 行列要素の局所順序性を利用してQEM問題に対処する量子エンタングルメントツリー(QET)を提案する。
  論文  参考訳（メタデータ） (2024-07-04T05:13:58Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models [9.727062803700264]
  量子化行列乗算のための効率的なカーネルであるLUT-GEMMを紹介する。 LUT-GEMMは資源集約化プロセスを取り除き、計算コストを削減する。 我々は,3ビット量子化を用いたOPT-175Bモデルに適用した場合,LUT-GEMMはトークン生成遅延を大幅に高速化することを示した。
  論文  参考訳（メタデータ） (2022-06-20T03:48:17Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• VecQ: Minimal Loss DNN Model Compression With Vectorized Weight Quantization [19.66522714831141]
  我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。 また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
  論文  参考訳（メタデータ） (2020-05-18T07:38:44Z)
• Kernel Quantization for Efficient Network Compression [59.55192551370948]
  Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。 重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。 ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
  論文  参考訳（メタデータ） (2020-03-11T08:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。