Fugu-MT 論文翻訳(概要): Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization

論文の概要: Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization

arxiv url: http://arxiv.org/abs/2312.15322v1
Date: Sat, 23 Dec 2023 18:50:13 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 18:24:25.627954
Title: Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization
Title（参考訳）: ディバースプルーニングと混合精度量子化によるハードウェア対応DNN圧縮
Authors: Konstantinos Balaskas, Andreas Karatzas, Christos Sad, Kostas Siozios, Iraklis Anagnostopoulos, Georgios Zervakis, J\"org Henkel
Abstract要約: 本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
参考スコア（独自算出の注目度）: 1.0235078178220354
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep Neural Networks (DNNs) have shown significant advantages in a wide variety of domains. However, DNNs are becoming computationally intensive and energy hungry at an exponential pace, while at the same time, there is a vast demand for running sophisticated DNN-based services on resource constrained embedded devices. In this paper, we target energy-efficient inference on embedded DNN accelerators. To that end, we propose an automated framework to compress DNNs in a hardware-aware manner by jointly employing pruning and quantization. We explore, for the first time, per-layer fine- and coarse-grained pruning, in the same DNN architecture, in addition to low bit-width mixed-precision quantization for weights and activations. Reinforcement Learning (RL) is used to explore the associated design space and identify the pruning-quantization configuration so that the energy consumption is minimized whilst the prediction accuracy loss is retained at acceptable levels. Using our novel composite RL agent we are able to extract energy-efficient solutions without requiring retraining and/or fine tuning. Our extensive experimental evaluation over widely used DNNs and the CIFAR-10/100 and ImageNet datasets demonstrates that our framework achieves $39\%$ average energy reduction for $1.7\%$ average accuracy loss and outperforms significantly the state-of-the-art approaches.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、さまざまな領域において大きな利点を示している。しかし、DNNは計算集約的で、指数的なペースで飢えている一方で、リソース制約の組込みデバイス上で高度なDNNベースのサービスを実行することに対する大きな需要がある。本稿では,組み込みDNN加速器のエネルギー効率を目標とする。そこで本研究では,Pruning と Quantization を併用して DNN をハードウェア対応で圧縮するフレームワークを提案する。我々は、重みとアクティベーションのための低ビット幅混合精度量子化に加えて、同じDNNアーキテクチャにおいて、1層あたりの微細および粗粒のプルーニングを初めて探求する。強化学習(RL)は、関連する設計空間を探索し、プルーニング量子化構成を識別するために使用され、予測精度損失を許容レベルに保ちながら、エネルギー消費を最小限に抑える。新規な複合RL剤を用いて, 再トレーニングや微調整を必要とせず, エネルギー効率の高い溶液を抽出できる。広く使われているDNNとCIFAR-10/100およびImageNetデータセットに対する広範囲な実験的評価により、我々のフレームワークは平均エネルギー削減を平均精度損失1.7 %で達成し、最先端のアプローチを著しく上回ることを示す。

関連論文リスト

DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-11T06:31:03Z)
LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-26T05:23:11Z)
DeepAxe: A Framework for Exploration of Approximation and Reliability Trade-offs in DNN Accelerators [0.9556128246747769]
安全クリティカルなアプリケーションにおけるディープニューラルネットワーク(DNN)の役割は拡大している。 DNNは計算能力の面で大きく成長している。これは、DNNアクセラレーターの信頼性を向上させる必要性を高める。
論文参考訳（メタデータ） (2023-03-14T20:42:38Z)
The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks [0.368986335765876]
パラメータの量子化とプルーニングは、モデルサイズを圧縮し、メモリフットプリントを削減し、低レイテンシ実行を容易にする。本研究では,身近な身近なジェスチャー認識システムであるSNNに対して,孤立度,累積的に,そして同時にプルーニングと量子化の様々な組み合わせについて検討する。本研究では,3次重みまで精度の低下に悩まされることなく,攻撃的パラメータ量子化に対処可能であることを示す。
論文参考訳（メタデータ） (2023-02-08T16:25:20Z)
Energy-efficient DNN Inference on Approximate Accelerators Through Formal Property Exploration [1.0323063834827415]
本稿では、近似型ディープニューラルネットワーク(DNN)のための重み付け近似マッピングのための自動フレームワークを提案する。 MAC単位レベルでは、エネルギー利得の点で既にエネルギー効率のよいマッピングを2ドル以上超えた。
論文参考訳（メタデータ） (2022-07-25T17:07:00Z)
Sparsifying Binary Networks [3.8350038566047426]
バイナリニューラルネットワーク(BNN)は、完全精度のディープニューラルネットワーク(DNN)と同等の精度で複雑なタスクを解く能力を示した。最近の改善にもかかわらず、非常に限られたリソースを持つ特定のデバイスで不十分な、固定的で制限された圧縮要因に悩まされている。本稿では,BNNの疎性を導入した新しいモデルとトレーニング手法であるスパースバイナリニューラルネットワーク(SBNN)と,ネットワークの重みをバイナライズする新しい量子化関数を提案する。
論文参考訳（メタデータ） (2022-07-11T15:54:41Z)
Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文参考訳（メタデータ） (2022-05-18T17:49:49Z)
Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-06T23:45:58Z)
ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文参考訳（メタデータ） (2020-10-24T05:09:14Z)
TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
論文参考訳（メタデータ） (2020-10-11T09:04:19Z)
PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。