論文の概要: Network Pruning via Resource Reallocation
- arxiv url: http://arxiv.org/abs/2103.01847v1
- Date: Tue, 2 Mar 2021 16:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 20:14:48.040642
- Title: Network Pruning via Resource Reallocation
- Title(参考訳): リソースレポジショニングによるネットワークPruning
- Authors: Yuenan Hou, Zheng Ma, Chunxiao Liu, Zhe Wang, and Chen Change Loy
- Abstract要約: rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。
PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
- 参考スコア(独自算出の注目度): 75.85066435085595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Channel pruning is broadly recognized as an effective approach to obtain a
small compact model through eliminating unimportant channels from a large
cumbersome network. Contemporary methods typically perform iterative pruning
procedure from the original over-parameterized model, which is both tedious and
expensive especially when the pruning is aggressive. In this paper, we propose
a simple yet effective channel pruning technique, termed network Pruning via
rEsource rEalLocation (PEEL), to quickly produce a desired slim model with
negligible cost. Specifically, PEEL first constructs a predefined backbone and
then conducts resource reallocation on it to shift parameters from less
informative layers to more important layers in one round, thus amplifying the
positive effect of these informative layers. To demonstrate the effectiveness
of PEEL , we perform extensive experiments on ImageNet with ResNet-18,
ResNet-50, MobileNetV2, MobileNetV3-small and EfficientNet-B0. Experimental
results show that structures uncovered by PEEL exhibit competitive performance
with state-of-the-art pruning algorithms under various pruning settings. Our
code is available at https://github.com/cardwing/Codes-for-PEEL.
- Abstract(参考訳): チャネルプルーニングは, 大型ネットワークから重要でないチャネルを排除し, 小型化に有効な手法として広く認識されている。
現代の手法では, 従来の過度パラメータ化モデルから反復的プルーニング手順を実行するのが一般的であり, 特にプルーニングが攻撃的である場合, 面倒かつ高価である。
本稿では,rEsource rEalLocation (PEEL) によるネットワーク・プルーニング(ネットワーク・プルーニング)と呼ばれる簡易で効果的なチャネル・プルーニング手法を提案する。
特に、PEELはまず事前に定義されたバックボーンを構築し、リソースのレポジショニングを行い、少ない情報層からより重要な層へのパラメータを1ラウンドでシフトすることで、これらの情報層のポジティブな効果を増幅します。
PEELの有効性を実証するために、ResNet-18、ResNet-50、MobileNetV2、MobileNetV3小型およびEfficientNet-B0でImageNet上で広範な実験を行います。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
私たちのコードはhttps://github.com/cardwing/Codes-for-PEELで入手できます。
関連論文リスト
- Dynamic Structure Pruning for Compressing CNNs [13.73717878732162]
本研究では, チャネル内プルーニングに最適なプルーニング粒度を特定するため, 動的プルーニングと呼ばれる新しい構造プルーニング法を提案する。
実験結果から, チャネルプルーニングと比較して, 動的構造プルーニングがGPU上での最先端のプルーニング性能, より現実的なアクセラレーションを実現することが示された。
論文 参考訳(メタデータ) (2023-03-17T02:38:53Z) - Visual Saliency-Guided Channel Pruning for Deep Visual Detectors in
Autonomous Driving [3.236217153362305]
ディープニューラルネットワーク(DNN)プルーニングは、リソース制約のあるデバイスにデプロイするデファクトコンポーネントになっている。
本稿では,視覚的検出のための勾配に基づく新しいサリエンシ尺度を提案し,それをチャネルプルーニングのガイドに利用する。
KITTIおよびCOCOトラヒックデータセットの実験は、最先端の競合するアプローチよりもプルーニング手法の有効性と優位性を実証している。
論文 参考訳(メタデータ) (2023-03-04T22:08:22Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳(メタデータ) (2021-10-21T06:26:31Z) - AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。
AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。
ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
論文 参考訳(メタデータ) (2021-09-14T01:52:05Z) - Connectivity Matters: Neural Network Pruning Through the Lens of
Effective Sparsity [0.0]
ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。
ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。
我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
論文 参考訳(メタデータ) (2021-07-05T22:36:57Z) - BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
論文 参考訳(メタデータ) (2021-05-21T18:54:03Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳(メタデータ) (2020-12-16T20:16:28Z) - Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。
我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
論文 参考訳(メタデータ) (2020-07-01T23:34:35Z) - PruneNet: Channel Pruning via Global Importance [22.463154358632472]
本稿では,計算的に軽量で効率的なデータ駆動最適化ステップに基づいて,チャネルを刈り取る方法を提案する。
In non-uniform pruning on the layer on ResNet-$50$, we can be match the FLOP reduction of State-of-the-art channel pruning results。
論文 参考訳(メタデータ) (2020-05-22T17:09:56Z) - Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。
我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。
実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
論文 参考訳(メタデータ) (2020-02-12T05:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。