論文の概要: Structured Network Pruning by Measuring Filter-wise Interactions
- arxiv url: http://arxiv.org/abs/2307.00758v1
- Date: Mon, 3 Jul 2023 05:26:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 14:17:08.389467
- Title: Structured Network Pruning by Measuring Filter-wise Interactions
- Title（参考訳）: フィルタワイズ相互作用の測定による構造的ネットワークプルーニング
- Authors: Wenting Tang, Xingxing Wei, Bo Li (Beijing Key Laboratory of Digital
Media, School of Computer Science and Engineering, Beihang University,
Beijing, China)
- Abstract要約: SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。
刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。
我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
- 参考スコア（独自算出の注目度）: 6.037167142826297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured network pruning is a practical approach to reduce computation cost
directly while retaining the CNNs' generalization performance in real
applications. However, identifying redundant filters is a core problem in
structured network pruning, and current redundancy criteria only focus on
individual filters' attributes. When pruning sparsity increases, these
redundancy criteria are not effective or efficient enough. Since the
filter-wise interaction also contributes to the CNN's prediction accuracy, we
integrate the filter-wise interaction into the redundancy criterion. In our
criterion, we introduce the filter importance and filter utilization strength
to reflect the decision ability of individual and multiple filters. Utilizing
this new redundancy criterion, we propose a structured network pruning approach
SNPFI (Structured Network Pruning by measuring Filter-wise Interaction). During
the pruning, the SNPFI can automatically assign the proper sparsity based on
the filter utilization strength and eliminate the useless filters by filter
importance. After the pruning, the SNPFI can recover pruned model's performance
effectively without iterative training by minimizing the interaction
difference. We empirically demonstrate the effectiveness of the SNPFI with
several commonly used CNN models, including AlexNet, MobileNetv1, and
ResNet-50, on various image classification datasets, including MNIST, CIFAR-10,
and ImageNet. For all experimental CNN models, nearly 60% of computation is
reduced in a network compression while the classification accuracy remains.
- Abstract（参考訳）: 構造化ネットワークプルーニングは,実アプリケーションにおけるCNNの一般化性能を維持しつつ,直接計算コストを削減するための実用的な手法である。
しかし, 冗長フィルタの同定はネットワークプルーニングの重要な問題であり, 現在の冗長性基準は個々のフィルタの特性のみに焦点をあてている。
刈り取りが増加すると、これらの冗長性基準は有効でも効率的でもない。
フィルタ間相互作用はcnnの予測精度にも寄与するので,フィルタ間相互作用を冗長性基準に統合する。
本基準では,個別フィルタと複数フィルタの決定能力を反映したフィルタ重要度とフィルタ活用力を紹介する。
提案手法は,新しい冗長性基準を利用してSNPFI(Structured Network Pruning by Measurement filter-wise Interaction)を提案する。
刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当て、フィルタ重要度により無駄なフィルタを除去できる。
プルーニング後、SNPFIは相互作用差を最小化して反復訓練をすることなく、プルーニングモデルの性能を効果的に回復することができる。
我々は, mnist, cifar-10, imagenetなどの画像分類データセットに対して, alexnet, mobilenetv1, resnet-50などのcnnモデルを用いてsnpfiの有効性を実証した。
実験的なcnnモデルでは、ネットワーク圧縮で計算の60%近くが削減されるが、分類精度は維持される。
関連論文リスト
- Efficient CNNs via Passive Filter Pruning [23.661189257759535]
畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。
CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。
CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
論文 参考訳（メタデータ） (2023-04-05T09:19:19Z) - Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。
Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。
提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
論文 参考訳（メタデータ） (2022-06-16T13:58:58Z) - A Passive Similarity based CNN Filter Pruning for Efficient Acoustic
Scene Classification [23.661189257759535]
音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。
本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。
提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
論文 参考訳（メタデータ） (2022-03-29T17:00:06Z) - Interspace Pruning: Using Adaptive Filter Representations to Improve
Training of Sparse CNNs [69.3939291118954]
非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している
標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。
既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
論文 参考訳（メタデータ） (2022-03-15T11:50:45Z) - Batch Normalization Tells You Which Filter is Important [49.903610684578716]
我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。
CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2021-12-02T12:04:59Z) - Manipulating Identical Filter Redundancy for Efficient Pruning on Deep
and Complicated CNN [126.88224745942456]
そこで我々は,Centripetal SGD (C-SGD) を提案する。
C-SGDは、既存のメソッドと比較して冗長性がより組織化されているため、パフォーマンスが向上する。
論文 参考訳（メタデータ） (2021-07-30T06:18:19Z) - Unsharp Mask Guided Filtering [53.14430987860308]
本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。
アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。
我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
論文 参考訳（メタデータ） (2021-06-02T19:15:34Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z) - Filter Grafting for Deep Neural Networks: Reason, Method, and
Cultivation [86.91324735966766]
フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである
本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。
我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
論文 参考訳（メタデータ） (2020-04-26T08:36:26Z) - Pruning CNN's with linear filter ensembles [0.0]
ネットワークサイズを減らし、(暗黙的に)浮動小数点演算(FLOP)の数を減らすためにプルーニングを使用します。
本稿では,ネットワークアーキテクチャからコンポーネントの存在や削除によって生じる経験的損失の変化に基づく,新しいフィルタ重要基準を開発する。
我々は,CIFAR-10データセットに基づいてトレーニングしたResNetアーキテクチャと同様に,完全に接続されたネットワーク上で本手法を評価する。
論文 参考訳（メタデータ） (2020-01-22T16:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。