論文の概要: Panacea: Novel DNN Accelerator using Accuracy-Preserving Asymmetric Quantization and Energy-Saving Bit-Slice Sparsity

• arxiv url: http://arxiv.org/abs/2412.10059v1
• Date: Fri, 13 Dec 2024 11:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:02:05.722444
• Title: Panacea: Novel DNN Accelerator using Accuracy-Preserving Asymmetric Quantization and Energy-Saving Bit-Slice Sparsity
• Title（参考訳）: Panacea: 精度保存型非対称量子化と省エネルギービットスライスススペーサを用いた新しいDNN加速器
• Authors: Dongyun Kam, Myeongji Yun, Sunwoo Yoo, Seungwoo Hong, Zhengya Zhang, Youngjoo Lee,
• Abstract要約: 低ビット精度とそれらのビットスライス間隔は、大規模ディープニューラルネットワーク(DNN)推論において、GEMM(GeneralMatrix-multiplications)を加速するために研究されている。 近年の研究では、追加の操作を必要とせず、アクティベーションに非対称量子化を積極的に活用している。 本稿では,非対称化ビットスライスGEMMを初めて提案する。
• 参考スコア（独自算出の注目度）: 2.78181759570722
• License:
• Abstract: Low bit-precisions and their bit-slice sparsity have recently been studied to accelerate general matrix-multiplications (GEMM) during large-scale deep neural network (DNN) inferences. While the conventional symmetric quantization facilitates low-resolution processing with bit-slice sparsity for both weight and activation, its accuracy loss caused by the activation's asymmetric distributions cannot be acceptable, especially for large-scale DNNs. In efforts to mitigate this accuracy loss, recent studies have actively utilized asymmetric quantization for activations without requiring additional operations. However, the cutting-edge asymmetric quantization produces numerous nonzero slices that cannot be compressed and skipped by recent bit-slice GEMM accelerators, naturally consuming more processing energy to handle the quantized DNN models. To simultaneously achieve high accuracy and hardware efficiency for large-scale DNN inferences, this paper proposes an Asymmetrically-Quantized bit-Slice GEMM (AQS-GEMM) for the first time. In contrast to the previous bit-slice computing, which only skips operations of zero slices, the AQS-GEMM compresses frequent nonzero slices, generated by asymmetric quantization, and skips their operations. To increase the slice-level sparsity of activations, we also introduce two algorithm-hardware co-optimization methods: a zero-point manipulation and a distribution-based bit-slicing. To support the proposed AQS-GEMM and optimizations at the hardware-level, we newly introduce a DNN accelerator, Panacea, which efficiently handles sparse/dense workloads of the tiled AQS-GEMM to increase data reuse and utilization. Panacea supports a specialized dataflow and run-length encoding to maximize data reuse and minimize external memory accesses, significantly improving its hardware efficiency. Our benchmark evaluations show Panacea outperforms existing DNN accelerators.
• Abstract（参考訳）: 大規模ディープニューラルネットワーク(DNN)推論における一般行列乗算(GEMM)を高速化するために、低ビット精度とそのビットスライス間隔が最近研究されている。 従来の対称量子化は、ビットスライス間隔による低分解能処理をウェイトとアクティベーションの両方で促進するが、アクティベーションの不斉分布による精度損失は、特に大規模DNNでは許容できない。 この精度損失を軽減するために、最近の研究では、追加の操作を必要とせず、アクティベーションに非対称量子化を積極的に活用している。 しかし、最先端の非対称量子化は、最近のビットスライスGEMM加速器によって圧縮およびスキップできない多くの非ゼロスライスを生成し、量子化されたDNNモデルを扱うために自然により多くの処理エネルギーを消費する。 大規模DNN推論において高い精度とハードウェア効率を同時に達成するために,AQS-GEMM(Asymmetrically-Quantized bit-Slice GEMM)を初めて提案する。 ゼロスライスのみをスキップする以前のビットスライス計算とは対照的に、AQS-GEMMは非対称量子化によって生成される頻繁な非ゼロスライスを圧縮し、それらの演算をスキップする。 また,アクティベーションのスライスレベル幅を増やすために,ゼロポイント操作と分散ベースのビットスライシングという2つのアルゴリズムハードウェア協調最適化手法を導入する。 提案するAQS-GEMMとハードウェアレベルでの最適化を支援するため,我々は新たにDNNアクセラレータであるPanaceaを導入し,データ再利用と利用を向上させるため,タイル付きAQS-GEMMのスパース/デンスワークロードを効率的に処理する。 Panaceaは特別なデータフローと実行長エンコーディングをサポートし、データの再利用を最大化し、外部メモリアクセスを最小化し、ハードウェア効率を大幅に改善する。 評価の結果,パナセアは既存のDNNアクセラレータよりも優れていた。

関連論文リスト

• MixPE: Quantization and Hardware Co-design for Efficient LLM Inference [16.42907854119748]
  MixPEは、大規模言語モデルにおける効率的な低ビット量子化のために設計された、特殊な混合精度処理素子である。 我々は、MixPEが最先端の量子化アクセラレータを2.6倍のスピードアップと1.4倍のエネルギー削減で超えることを示した。
  論文  参考訳（メタデータ） (2024-11-25T07:34:53Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• PikeLPN: Mitigating Overlooked Inefficiencies of Low-Precision Neural Networks [4.827161693957252]
  非量子化要素演算は、低精度モデルの推論コストを支配している。 PikeLPNモデルは、要素演算と乗算累積演算の両方に量子化を適用することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-03-29T18:23:34Z)
• EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
  畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。 ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。 ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T17:56:39Z)
• LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models [9.727062803700264]
  量子化行列乗算のための効率的なカーネルであるLUT-GEMMを紹介する。 LUT-GEMMは資源集約化プロセスを取り除き、計算コストを削減する。 我々は,3ビット量子化を用いたOPT-175Bモデルに適用した場合,LUT-GEMMはトークン生成遅延を大幅に高速化することを示した。
  論文  参考訳（メタデータ） (2022-06-20T03:48:17Z)
• AMED: Automatic Mixed-Precision Quantization for Edge Devices [3.5223695602582614]
  量子ニューラルネットワークは、レイテンシ、消費電力、モデルサイズをパフォーマンスに大きな影響を与えずに減少させることでよく知られている。 混合精度量子化は、異なるビット幅での算術演算をサポートするカスタマイズされたハードウェアのより良い利用を提供する。
  論文  参考訳（メタデータ） (2022-05-30T21:23:22Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• EdgeBERT: Sentence-Level Energy Optimizations for Latency-Aware Multi-Task NLP Inference [82.1584439276834]
  BERTのようなトランスフォーマーベースの言語モデルでは、自然言語処理(NLP)タスクの精度が大幅に向上する。 We present EdgeBERT, a in-deepth algorithm- hardware co-design for latency-aware energy optimization for multi-task NLP。
  論文  参考訳（メタデータ） (2020-11-28T19:21:47Z)
• PAMS: Quantized Super-Resolution via Parameterized Max Scale [84.55675222525608]
  深部畳み込みニューラルネットワーク(DCNN)は超解像処理(SR)において優位な性能を示した 本稿では,PAMS(Parameterized Max Scale)と呼ばれる新しい量子化手法を提案する。 実験により,提案手法はEDSRやRDNなどの既存のSRモデルを適切に圧縮・高速化できることが示された。
  論文  参考訳（メタデータ） (2020-11-09T06:16:05Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。