論文の概要: A Survey on Deep Neural Network Compression: Challenges, Overview, and
Solutions
- arxiv url: http://arxiv.org/abs/2010.03954v1
- Date: Mon, 5 Oct 2020 13:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 22:40:05.238533
- Title: A Survey on Deep Neural Network Compression: Challenges, Overview, and
Solutions
- Title（参考訳）: 深層ニューラルネットワークの圧縮に関する調査 : 課題,概要,解決法
- Authors: Rahul Mishra, Hari Prabhat Gupta, and Tanima Dutta
- Abstract要約: Deep Neural Network(DNN)は、自動機能抽出機能により、前例のないパフォーマンスを実現している。
本稿では,DNNモデルの圧縮に関する既存の文献を概説する。
我々は,既存の手法を,DNNモデルを圧縮する機構に基づいて,ネットワークプルーニング,スパース表現,ビット精度,知識蒸留,雑多な5つのカテゴリに分割する。
- 参考スコア（独自算出の注目度）: 18.095948566754874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Network (DNN) has gained unprecedented performance due to its
automated feature extraction capability. This high order performance leads to
significant incorporation of DNN models in different Internet of Things (IoT)
applications in the past decade. However, the colossal requirement of
computation, energy, and storage of DNN models make their deployment
prohibitive on resource constraint IoT devices. Therefore, several compression
techniques were proposed in recent years for reducing the storage and
computation requirements of the DNN model. These techniques on DNN compression
have utilized a different perspective for compressing DNN with minimal accuracy
compromise. It encourages us to make a comprehensive overview of the DNN
compression techniques. In this paper, we present a comprehensive review of
existing literature on compressing DNN model that reduces both storage and
computation requirements. We divide the existing approaches into five broad
categories, i.e., network pruning, sparse representation, bits precision,
knowledge distillation, and miscellaneous, based upon the mechanism
incorporated for compressing the DNN model. The paper also discussed the
challenges associated with each category of DNN compression techniques.
Finally, we provide a quick summary of existing work under each category with
the future direction in DNN compression.
- Abstract（参考訳）: Deep Neural Network(DNN)は、自動機能抽出機能により、前例のないパフォーマンスを実現している。
この高次のパフォーマンスは、過去10年間に異なるIoT(Internet of Things)アプリケーションにDNNモデルが大幅に取り入れられたことにつながります。
しかし、DNNモデルの計算、エネルギ、ストレージという余分な要件は、リソース制約のあるIoTデバイスへのデプロイメントを禁止している。
そのため,近年,dnnモデルの記憶量と計算量を削減する圧縮手法がいくつか提案されている。
DNN圧縮におけるこれらの手法は、最小限の精度でDNNを圧縮するために異なる視点を利用した。
これにより,DNN圧縮技術の概要を概観することが可能になる。
本稿では,DNNモデルの圧縮に関する既存の文献を包括的にレビューし,ストレージと計算要求の両方を削減する。
我々は,既存の手法を,DNNモデルを圧縮する機構に基づいて,ネットワークプルーニング,スパース表現,ビット精度,知識蒸留,雑多な5つのカテゴリに分割する。
また,DNN圧縮技術の各カテゴリに関する課題についても論じる。
最後に,DNN圧縮の今後の方向性として,各カテゴリにおける既存作業の概要を紹介する。
関連論文リスト
- GhostRNN: Reducing State Redundancy in RNN with Cheap Operations [66.14054138609355]
本稿では,効率的なRNNアーキテクチャであるGhostRNNを提案する。
KWSとSEタスクの実験により、提案されたGhostRNNはメモリ使用量(40%)と計算コストを大幅に削減し、性能は類似している。
論文 参考訳（メタデータ） (2024-11-20T11:37:14Z) - NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳（メタデータ） (2024-08-28T02:17:58Z) - "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳（メタデータ） (2024-03-01T03:46:28Z) - Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision
Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。
われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2023-12-23T18:50:13Z) - Resource Constrained Model Compression via Minimax Optimization for
Spiking Neural Networks [11.19282454437627]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型および高エネルギー効率ネットワークの特徴を持つ。
これらのネットワークをリソース制限されたエッジデバイスに直接展開することは困難である。
本稿では,このスパース学習問題に対するエンドツーエンドの Minimax 最適化手法を提案する。
論文 参考訳（メタデータ） (2023-08-09T02:50:15Z) - Sparsifying Binary Networks [3.8350038566047426]
バイナリニューラルネットワーク(BNN)は、完全精度のディープニューラルネットワーク(DNN)と同等の精度で複雑なタスクを解く能力を示した。
最近の改善にもかかわらず、非常に限られたリソースを持つ特定のデバイスで不十分な、固定的で制限された圧縮要因に悩まされている。
本稿では,BNNの疎性を導入した新しいモデルとトレーニング手法であるスパースバイナリニューラルネットワーク(SBNN)と,ネットワークの重みをバイナライズする新しい量子化関数を提案する。
論文 参考訳（メタデータ） (2022-07-11T15:54:41Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on
Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。
LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。
我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-03-11T15:55:34Z) - Compacting Deep Neural Networks for Internet of Things: Methods and
Applications [14.611047945621511]
ディープニューラルネットワーク(DNN)は複雑なタスクの完了に大きな成功を収めている。
DNNは階層構造が複雑になるため、計算コストとストレージ消費が必然的に高くなる。
本稿では,コンパクト化dnns技術に関する包括的研究を行う。
論文 参考訳（メタデータ） (2021-03-20T03:18:42Z) - AdaDeep: A Usage-Driven, Automated Deep Model Compression Framework for
Enabling Ubiquitous Intelligent Mobiles [21.919700946676393]
我々はAdaDeepを提案し、パフォーマンスとリソースの制約の間の望ましいトレードオフについて検討する。
AdaDeepは18.6times$遅延低減、9.8times$エネルギー効率の改善、37.3times$DNNのストレージ削減を達成できる。
論文 参考訳（メタデータ） (2020-06-08T09:42:12Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。