論文の概要: RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs
- arxiv url: http://arxiv.org/abs/2010.02488v3
- Date: Sun, 25 Oct 2020 11:52:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 05:10:54.524072
- Title: RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs
- Title（参考訳）: RANP:3次元CNNの初期化におけるリソース認識ニューロンプルーニング
- Authors: Zhiwei Xu, Thalaiyasingam Ajanthan, Vibhav Vineet, Richard Hartley
- Abstract要約: 本稿では,3次元CNNを高頻度で作成するRANPアルゴリズムを提案する。
具体的には、損失関数に対する感度に基づいて、各ニューロンに対して重要なスコアを得る。
このニューロンの重要性は、FLOPや記憶に関連するニューロン資源の消費に応じて再重み付けされる。
- 参考スコア（独自算出の注目度）: 32.431100361351675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although 3D Convolutional Neural Networks (CNNs) are essential for most
learning based applications involving dense 3D data, their applicability is
limited due to excessive memory and computational requirements. Compressing
such networks by pruning therefore becomes highly desirable. However, pruning
3D CNNs is largely unexplored possibly because of the complex nature of typical
pruning algorithms that embeds pruning into an iterative optimization paradigm.
In this work, we introduce a Resource Aware Neuron Pruning (RANP) algorithm
that prunes 3D CNNs at initialization to high sparsity levels. Specifically,
the core idea is to obtain an importance score for each neuron based on their
sensitivity to the loss function. This neuron importance is then reweighted
according to the neuron resource consumption related to FLOPs or memory. We
demonstrate the effectiveness of our pruning method on 3D semantic segmentation
with widely used 3D-UNets on ShapeNet and BraTS'18 as well as on video
classification with MobileNetV2 and I3D on UCF101 dataset. In these
experiments, our RANP leads to roughly 50-95 reduction in FLOPs and 35-80
reduction in memory with negligible loss in accuracy compared to the unpruned
networks. This significantly reduces the computational resources required to
train 3D CNNs. The pruned network obtained by our algorithm can also be easily
scaled up and transferred to another dataset for training.
- Abstract（参考訳）: 3D畳み込みニューラルネットワーク(CNN)は、高密度な3Dデータを含むほとんどの学習ベースアプリケーションに必須であるが、その適用性は過剰なメモリと計算要求のために制限されている。
そのため, 刈り込みによる圧縮が望まれる。
しかし、pruning 3d cnnは、反復最適化パラダイムにpruningを組み込む典型的なpruningアルゴリズムの複雑な性質のためかもしれない。
本研究では,3次元CNNを初期化して高空間レベルにプルークするリソース・アウェア・ニューラルン・プルーニング(RANP)アルゴリズムを提案する。
具体的には、損失関数に対する感度に基づいて各ニューロンの重要性スコアを得ることが核となる。
このニューロンの重要性は、フロップやメモリに関連するニューロンリソースの消費に応じて再重み付けされる。
本研究では,ShapeNetおよびBraTS'18上で広く使用されている3D-UNetsを用いた3次元セマンティックセマンティックセグメンテーションと,UCF101データセット上でのMobileNetV2およびI3Dを用いたビデオ分類の有効性を示す。
これらの実験において、RANPはFLOPの約50-95の削減と35-80のメモリの削減を実現し、未処理のネットワークと比較して精度の低下は無視できる。
これにより、3D CNNのトレーニングに必要な計算リソースが大幅に削減される。
また,本アルゴリズムにより得られたプルーンドネットワークのスケールアップや,トレーニング用データセットへの転送も容易である。
関連論文リスト
- A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳（メタデータ） (2022-11-10T08:32:13Z) - Recursive Least Squares for Training and Pruning Convolutional Neural
Networks [27.089496826735672]
畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。
高い計算とストレージ要件により、リソース制約のあるデバイスへのデプロイが困難になる。
本稿では,CNNの訓練と刈り取りのための新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-01-13T07:14:08Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳（メタデータ） (2021-12-01T18:20:52Z) - Continual 3D Convolutional Neural Networks for Real-time Processing of
Videos [93.73198973454944]
連続3次元コンテンポラルニューラルネットワーク(Co3D CNN)について紹介する。
Co3D CNNはクリップ・バイ・クリップではなく、フレーム・バイ・フレームで動画を処理する。
本研究では,既存の映像認識モデルの重みを初期化したCo3D CNNを用いて,フレームワイズ計算における浮動小数点演算を10.0-12.4倍削減し,Kinetics-400の精度を2.3-3.8倍に向上したことを示す。
論文 参考訳（メタデータ） (2021-05-31T18:30:52Z) - RANP: Resource Aware Neuron Pruning at Initialization for 3D CNNs [32.054160078692036]
3D CNNを高いスパーシティレベルにプルーンするResource Aware Neuron Pruning (RANP)アルゴリズムを紹介します。
提案アルゴリズムは, FLOPの約50%-95%の削減, メモリの35%-80%の削減を実現している。
論文 参考訳（メタデータ） (2021-02-09T04:35:29Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - 3D CNNs with Adaptive Temporal Feature Resolutions [83.43776851586351]
similarity Guided Sampling (SGS)モジュールは既存のCNNアーキテクチャにプラグインできる。
SGSは、時間的特徴の類似性を学び、類似した特徴をまとめることで、3D CNNに権限を与える。
評価の結果,提案モジュールは精度を保ちながら計算コスト(GFLOP)を半分に減らし,最先端化を実現していることがわかった。
論文 参考訳（メタデータ） (2020-11-17T14:34:05Z) - RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks
on Mobile Devices [57.877112704841366]
本稿では3次元CNNのためのモデル圧縮およびモバイルアクセラレーションフレームワークRT3Dを提案する。
3D CNNのリアルタイム実行は、市販のモバイル上で初めて実現された。
論文 参考訳（メタデータ） (2020-07-20T02:05:32Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。