論文の概要: AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance
- arxiv url: http://arxiv.org/abs/2109.06397v1
- Date: Tue, 14 Sep 2021 01:52:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-15 15:37:12.719093
- Title: AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance
- Title（参考訳）: adapruner: アダプティブチャネルのプルーニングと効果的な重み付け継承
- Authors: Xiangcheng Liu, Jian Cao, Hongyi Yao, Wenyu Sun, Yuan Zhang
- Abstract要約: 本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。
AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
- 参考スコア（独自算出の注目度）: 9.3421559369389
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Channel pruning is one of the major compression approaches for deep neural
networks. While previous pruning methods have mostly focused on identifying
unimportant channels, channel pruning is considered as a special case of neural
architecture search in recent years. However, existing methods are either
complicated or prone to sub-optimal pruning. In this paper, we propose a
pruning framework that adaptively determines the number of each layer's
channels as well as the wights inheritance criteria for sub-network. Firstly,
evaluate the importance of each block in the network based on the mean of the
scaling parameters of the BN layers. Secondly, use the bisection method to
quickly find the compact sub-network satisfying the budget. Finally, adaptively
and efficiently choose the weight inheritance criterion that fits the current
architecture and fine-tune the pruned network to recover performance. AdaPruner
allows to obtain pruned network quickly, accurately and efficiently, taking
into account both the structure and initialization weights. We prune the
currently popular CNN models (VGG, ResNet, MobileNetV2) on different image
classification datasets, and the experimental results demonstrate the
effectiveness of our proposed method. On ImageNet, we reduce 32.8% FLOPs of
MobileNetV2 with only 0.62% decrease for top-1 accuracy, which exceeds all
previous state-of-the-art channel pruning methods. The code will be released.
- Abstract（参考訳）: チャネルプルーニングはディープニューラルネットワークにおける主要な圧縮アプローチの1つである。
従来のプルーニング手法は主に重要でないチャネルの同定に重点を置いているが、近年ではチャネルプルーニングがニューラルアーキテクチャサーチの特別な例と考えられている。
しかし、既存の手法は複雑か、あるいは準最適プルーニングの傾向がある。
本稿では,各レイヤのチャネル数とサブネットワークのwights継承基準を適応的に決定するプルーニングフレームワークを提案する。
まず、BN層のスケーリングパラメータの平均に基づいて、ネットワークにおける各ブロックの重要性を評価する。
次に、bisectionメソッドを使用して、予算を満たすコンパクトなサブネットワークを素早く見つけます。
最後に、現在のアーキテクチャに適合する重み継承基準を適応的かつ効率的に選択し、刈り取られたネットワークを微調整して性能を回復する。
adaprunerは、構造と初期化重みの両方を考慮して、迅速かつ正確かつ効率的にpruned networkを得ることができる。
現在普及しているCNNモデル (VGG, ResNet, MobileNetV2) を様々な画像分類データセット上で実験し, 提案手法の有効性を実証した。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
コードはリリースされます。
関連論文リスト
- Network Pruning Spaces [12.692532576302426]
ウェイトプルーニングやフィルタプルーニングなどのネットワークプルーニング技術により、ほとんどの最先端のニューラルネットワークは、大幅な性能低下なしに加速できることが明らかになった。
この研究は、市販のディープラーニングライブラリやハードウェアで推論を高速化するフィルタプルーニングに焦点を当てている。
論文 参考訳（メタデータ） (2023-04-19T06:52:05Z) - Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。
VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。
提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
論文 参考訳（メタデータ） (2022-11-14T06:48:33Z) - Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。
本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。
この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
論文 参考訳（メタデータ） (2022-05-11T17:59:04Z) - Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
論文 参考訳（メタデータ） (2022-03-25T15:32:46Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文 参考訳（メタデータ） (2021-05-21T18:54:03Z) - Network Pruning via Resource Reallocation [75.85066435085595]
rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。
PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
論文 参考訳（メタデータ） (2021-03-02T16:28:10Z) - UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks
Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。
CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文 参考訳（メタデータ） (2020-10-03T01:51:06Z) - PruneNet: Channel Pruning via Global Importance [22.463154358632472]
本稿では,計算的に軽量で効率的なデータ駆動最適化ステップに基づいて,チャネルを刈り取る方法を提案する。
In non-uniform pruning on the layer on ResNet-$50$, we can be match the FLOP reduction of State-of-the-art channel pruning results。
論文 参考訳（メタデータ） (2020-05-22T17:09:56Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。