論文の概要: Complexity-Driven CNN Compression for Resource-constrained Edge AI
- arxiv url: http://arxiv.org/abs/2208.12816v1
- Date: Fri, 26 Aug 2022 16:01:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 13:19:22.183543
- Title: Complexity-Driven CNN Compression for Resource-constrained Edge AI
- Title（参考訳）: 資源制約エッジAIのための複雑度駆動型CNN圧縮
- Authors: Muhammad Zawish, Steven Davy and Lizy Abraham
- Abstract要約: 本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。
パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
- 参考スコア（独自算出の注目度）: 1.6114012813668934
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in Artificial Intelligence (AI) on the Internet of Things
(IoT)-enabled network edge has realized edge intelligence in several
applications such as smart agriculture, smart hospitals, and smart factories by
enabling low-latency and computational efficiency. However, deploying
state-of-the-art Convolutional Neural Networks (CNNs) such as VGG-16 and
ResNets on resource-constrained edge devices is practically infeasible due to
their large number of parameters and floating-point operations (FLOPs). Thus,
the concept of network pruning as a type of model compression is gaining
attention for accelerating CNNs on low-power devices. State-of-the-art pruning
approaches, either structured or unstructured do not consider the different
underlying nature of complexities being exhibited by convolutional layers and
follow a training-pruning-retraining pipeline, which results in additional
computational overhead. In this work, we propose a novel and computationally
efficient pruning pipeline by exploiting the inherent layer-level complexities
of CNNs. Unlike typical methods, our proposed complexity-driven algorithm
selects a particular layer for filter-pruning based on its contribution to
overall network complexity. We follow a procedure that directly trains the
pruned model and avoids the computationally complex ranking and fine-tuning
steps. Moreover, we define three modes of pruning, namely parameter-aware (PA),
FLOPs-aware (FA), and memory-aware (MA), to introduce versatile compression of
CNNs. Our results show the competitive performance of our approach in terms of
accuracy and acceleration. Lastly, we present a trade-off between different
resources and accuracy which can be helpful for developers in making the right
decisions in resource-constrained IoT environments.
- Abstract（参考訳）: モノのインターネット(IoT)対応ネットワークエッジにおける人工知能(AI)の最近の進歩は、低レイテンシと計算効率を実現することで、スマート農業、スマート病院、スマートファクトリといったいくつかのアプリケーションでエッジインテリジェンスを実現している。
しかしながら、リソース制約されたエッジデバイスにVGG-16やResNetsのような最先端の畳み込みニューラルネットワーク(CNN)をデプロイすることは、大量のパラメータと浮動小数点演算(FLOP)のために事実上不可能である。
これにより、低消費電力デバイス上でcnnを加速するモデル圧縮の一種としてのネットワークプルーニングの概念が注目されている。
構造的あるいは非構造的な最先端のプルーニングアプローチは、畳み込み層によって示される複雑さの根底にある異なる性質を考慮せず、トレーニング・プルーニング・リトレーニングパイプラインに従い、さらなる計算オーバーヘッドをもたらす。
本研究では,cnnの層レベルの複雑度を生かして,新しい計算効率のよいプルーニングパイプラインを提案する。
従来の手法とは違って,提案手法では,ネットワークの複雑性に対するコントリビューションに基づいて,フィルタの特定の層を選択する。
我々は,prunedモデルを直接学習し,計算量的に複雑なランク付けや微調整ステップを回避する手順に従う。
さらに,パラメータアウェア(pa),フラップアウェア(fa),メモリアウェア(ma)の3つのモードを定義し,cnnの汎用圧縮を導入する。
以上の結果から,精度と加速度の面でのアプローチの競合性能が示された。
最後に、異なるリソースと正確性の間のトレードオフを示し、リソースに制約のあるiot環境において、開発者が正しい判断を下すのに役立ちます。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - OTOv3: Automatic Architecture-Agnostic Neural Network Training and
Compression from Structured Pruning to Erasing Operators [57.145175475579315]
このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。
第3世代のOTOv3(Noth-Train-Once)を導入する。
我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
論文 参考訳（メタデータ） (2023-12-15T00:22:55Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。
MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。
このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文 参考訳（メタデータ） (2021-09-22T15:33:49Z) - Latency-Memory Optimized Splitting of Convolution Neural Networks for
Resource Constrained Edge Devices [1.6873748786804317]
我々は、エッジデバイスとクラウド間でCNNを実行することは、リソース制約のある最適化問題を解決することと同義であると主張している。
実世界のエッジデバイスでの実験では、LMOSはエッジで異なるCNNモデルの実行可能な実行を保証する。
論文 参考訳（メタデータ） (2021-07-19T19:39:56Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳（メタデータ） (2020-07-27T09:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。