論文の概要: SNF: Filter Pruning via Searching the Proper Number of Filters

• arxiv url: http://arxiv.org/abs/2112.07282v1
• Date: Tue, 14 Dec 2021 10:37:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 16:03:01.007989
• Title: SNF: Filter Pruning via Searching the Proper Number of Filters
• Title（参考訳）: SNF: フィルタの適切な個数探索によるフィルタプルーニング
• Authors: Pengkun Liu, Yaru Yue, Yanjun Guo, Xingxiang Tao, Xiaoguang Zhou
• Abstract要約: フィルタプルーニングは、冗長なフィルタを取り除き、端末デバイスにCNNを適用する可能性を提供することを目的としている。 フィルタの適切な個数(SNF)を探索し,新しいフィルタプルーニング法を提案する。 SNFは各レイヤに対して最も合理的な数のリザーブドフィルタを検索し、特定の基準でフィルタをプルーニングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Network (CNN) has an amount of parameter redundancy, filter pruning aims to remove the redundant filters and provides the possibility for the application of CNN on terminal devices. However, previous works pay more attention to designing evaluation criteria of filter importance and then prune less important filters with a fixed pruning rate or a fixed number to reduce convolutional neural networks' redundancy. It does not consider how many filters to reserve for each layer is the most reasonable choice. From this perspective, we propose a new filter pruning method by searching the proper number of filters (SNF). SNF is dedicated to searching for the most reasonable number of reserved filters for each layer and then pruning filters with specific criteria. It can tailor the most suitable network structure at different FLOPs. Filter pruning with our method leads to the state-of-the-art (SOTA) accuracy on CIFAR-10 and achieves competitive performance on ImageNet ILSVRC-2012.SNF based on the ResNet-56 network achieves an increase of 0.14% in Top-1 accuracy at 52.94% FLOPs reduction on CIFAR-10. Pruning ResNet-110 on CIFAR-10 also improves the Top-1 accuracy of 0.03% when reducing 68.68% FLOPs. For ImageNet, we set the pruning rates as 52.10% FLOPs, and the Top-1 accuracy only has a drop of 0.74%. The codes can be available at https://github.com/pk-l/SNF.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)はパラメータ冗長性の量を持ち、フィルタプルーニングは冗長なフィルタを除去し、CNNを端末デバイスに適用する可能性を提供する。 しかし、従来の研究は、フィルタの重要度の評価基準の設計に注意を払っており、畳み込みニューラルネットワークの冗長性を低減するために、固定プルーニング率または固定数で重要度を低くする。 各レイヤに予約するフィルタが、最も合理的な選択であるかどうかを考慮しない。 そこで本研究では,適切なフィルタ数(snf)を探索し,新しいフィルタ刈り法を提案する。 SNFは各レイヤに対して最も合理的な数のリザーブドフィルタを検索し、特定の基準でフィルタをプルーニングする。 FLOPで最適なネットワーク構造をカスタマイズすることができる。 フィルタプルーニングによりCIFAR-10のSOTA精度が向上し、ResNet-56ネットワークに基づくImageNet ILSVRC-2012.SNFの競合性能は52.94%でトップ1の精度が0.14%向上する。 CIFAR-10上でのPruning ResNet-110は、68.68%のFLOPを減少させると、トップ1の精度が0.03%向上する。 ImageNetでは、プルーニングレートを52.10%のFLOPに設定し、トップ1の精度は0.74%しか低下しない。 コードはhttps://github.com/pk-l/snfで入手できる。

関連論文リスト

• Pruning by Active Attention Manipulation [49.61707925611295]
  CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。 ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。 PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-20T09:17:02Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Network Compression via Central Filter [9.585818883354449]
  本稿では,フィルタの適切な調整後に,フィルタが他のフィルタの集合とほぼ等しいことを示唆する,新しいフィルタプルーニング手法であるCentral Filter (CF)を提案する。 CFは様々なベンチマークネットワークやデータセットで最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-12-10T12:51:04Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Deep Model Compression based on the Training History [13.916984628784768]
  本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。 提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
  論文  参考訳（メタデータ） (2021-01-30T06:04:21Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• REPrune: Filter Pruning via Representative Election [3.867363075280544]
  REPruneはクラスタリングによって代表フィルタを選択する新しいフィルタプルーニング手法である。 CIFAR-10のResNet-110では0.53%の精度で49%以上のFLOPを削減した。 また、RePruneは41.8%以上のFLOPを削減し、ImageNetのResNet-18では1.67%のTop-1バリデーションが失われた。
  論文  参考訳（メタデータ） (2020-07-14T09:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。