論文の概要: PruneNet: Channel Pruning via Global Importance
- arxiv url: http://arxiv.org/abs/2005.11282v1
- Date: Fri, 22 May 2020 17:09:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 08:24:16.185154
- Title: PruneNet: Channel Pruning via Global Importance
- Title（参考訳）: prunenet: グローバル重要性によるチャネルプルーニング
- Authors: Ashish Khetan, Zohar Karnin
- Abstract要約: 本稿では,計算的に軽量で効率的なデータ駆動最適化ステップに基づいて,チャネルを刈り取る方法を提案する。
In non-uniform pruning on the layer on ResNet-$50$, we can be match the FLOP reduction of State-of-the-art channel pruning results。
- 参考スコア（独自算出の注目度）: 22.463154358632472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Channel pruning is one of the predominant approaches for accelerating deep
neural networks. Most existing pruning methods either train from scratch with a
sparsity inducing term such as group lasso, or prune redundant channels in a
pretrained network and then fine tune the network. Both strategies suffer from
some limitations: the use of group lasso is computationally expensive,
difficult to converge and often suffers from worse behavior due to the
regularization bias. The methods that start with a pretrained network either
prune channels uniformly across the layers or prune channels based on the basic
statistics of the network parameters. These approaches either ignore the fact
that some CNN layers are more redundant than others or fail to adequately
identify the level of redundancy in different layers. In this work, we
investigate a simple-yet-effective method for pruning channels based on a
computationally light-weight yet effective data driven optimization step that
discovers the necessary width per layer. Experiments conducted on ILSVRC-$12$
confirm effectiveness of our approach. With non-uniform pruning across the
layers on ResNet-$50$, we are able to match the FLOP reduction of
state-of-the-art channel pruning results while achieving a $0.98\%$ higher
accuracy. Further, we show that our pruned ResNet-$50$ network outperforms
ResNet-$34$ and ResNet-$18$ networks, and that our pruned ResNet-$101$
outperforms ResNet-$50$.
- Abstract（参考訳）: チャネルプルーニングは、ディープニューラルネットワークを加速するための主要なアプローチの1つである。
既存のプルーニング手法のほとんどは、グループラッソのような疎外性誘導用語でスクラッチからトレーニングするか、事前訓練されたネットワークで冗長なチャネルをプルーーンし、ネットワークを微調整する。
グループラッソの使用は計算的に高価であり、収束が困難であり、正規化バイアスによる悪い行動に悩まされることが多い。
事前訓練されたネットワークから開始する手法は、ネットワークパラメータの基本統計に基づいて、レイヤを均一にプルーンチャネルまたはプルーンチャネルのいずれかである。
これらのアプローチは、いくつかのcnn層が他の層よりも冗長であるという事実を無視するか、異なる層における冗長性のレベルを適切に特定できないかのどちらかである。
本研究では, 計算量的に軽量かつ効率的なデータ駆動最適化ステップに基づいて, 層毎に必要な幅を探索する, チャネルのプルーニングを簡便かつ効果的に行う手法について検討する。
ilsvrc-$12$実験を行い,本手法の有効性を確認した。
resnet-$50$の層をまたいで一様でない刈り取りを行うことで、最先端のチャネル刈り取り結果のフラップ削減と一致し、0.98\%の精度を実現できます。
さらに、我々のpruned resnet-$50$ネットワークがresnet-$34$とresnet-$18$ネットワークを上回り、pruned resnet-$01$がresnet-$50$を上回っていることも示します。
関連論文リスト
- CHEX: CHannel EXploration for CNN Model Compression [47.3520447163165]
本稿では,これらの問題を是正するために,CHEXと呼ばれる新しいチャネル探索手法を提案する。
CheXはトレーニングプロセスを通じてチャネルを繰り返しプーンして再成長させ、重要なチャネルを早期にプルーニングするリスクを低減させる。
CHEXは様々なコンピュータビジョンタスクにおいて,多様なCNNアーキテクチャのFLOPを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2022-03-29T17:52:41Z) - Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
論文 参考訳（メタデータ） (2022-03-25T15:32:46Z) - AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。
AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
論文 参考訳（メタデータ） (2021-09-14T01:52:05Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文 参考訳（メタデータ） (2021-05-21T18:54:03Z) - BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch
Whitening [63.081808698068365]
本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。
以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。
本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
論文 参考訳（メタデータ） (2021-05-13T17:00:05Z) - Network Pruning via Resource Reallocation [75.85066435085595]
rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。
PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
論文 参考訳（メタデータ） (2021-03-02T16:28:10Z) - UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks
Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。
CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文 参考訳（メタデータ） (2020-10-03T01:51:06Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。
そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。
本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-02-23T17:56:18Z) - Network Pruning via Annealing and Direct Sparsity Control [4.976007156860966]
本稿では,非構造的および構造的チャネルレベルのプルーニングに適した,新しい効率的なネットワークプルーニング手法を提案する。
提案手法は, 基準とスケジュールに基づいて, ネットワークパラメータやフィルタチャネルを徐々に除去することにより, 空間制約を緩和する。
論文 参考訳（メタデータ） (2020-02-11T10:51:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。