論文の概要: Improve Convolutional Neural Network Pruning by Maximizing Filter Variety

• arxiv url: http://arxiv.org/abs/2203.05807v1
• Date: Fri, 11 Mar 2022 09:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 18:41:56.460378
• Title: Improve Convolutional Neural Network Pruning by Maximizing Filter Variety
• Title（参考訳）: フィルタ変数の最大化による畳み込みニューラルネットワークのプルーニングの改善
• Authors: Nathan Hubens, Matei Mancas, Bernard Gosselin, Marius Preda, Titus Zaharia
• Abstract要約: ニューラルネットワークプルーニングは、モデルストレージと計算要求を減らすために広く利用されている戦略である。 l1ノルムやムーブメントのような一般的なプルーニング基準は、フィルターの個々の効用を考慮しないのが普通である。 本稿では,これらの2つの課題を解決し,どのプルーニング基準にも適用できる手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network pruning is a widely used strategy for reducing model storage and computing requirements. It allows to lower the complexity of the network by introducing sparsity in the weights. Because taking advantage of sparse matrices is still challenging, pruning is often performed in a structured way, i.e. removing entire convolution filters in the case of ConvNets, according to a chosen pruning criteria. Common pruning criteria, such as l1-norm or movement, usually do not consider the individual utility of filters, which may lead to: (1) the removal of filters exhibiting rare, thus important and discriminative behaviour, and (2) the retaining of filters with redundant information. In this paper, we present a technique solving those two issues, and which can be appended to any pruning criteria. This technique ensures that the criteria of selection focuses on redundant filters, while retaining the rare ones, thus maximizing the variety of remaining filters. The experimental results, carried out on different datasets (CIFAR-10, CIFAR-100 and CALTECH-101) and using different architectures (VGG-16 and ResNet-18) demonstrate that it is possible to achieve similar sparsity levels while maintaining a higher performance when appending our filter selection technique to pruning criteria. Moreover, we assess the quality of the found sparse sub-networks by applying the Lottery Ticket Hypothesis and find that the addition of our method allows to discover better performing tickets in most cases
• Abstract（参考訳）: ニューラルネットワークのプルーニングは、モデルストレージとコンピューティング要件を削減するために広く使われている戦略である。 これにより、重みにスパーシティを導入することで、ネットワークの複雑さを低減できる。 スパース行列を利用するのはまだ難しいため、選択されたプルーニング基準に従って、しばしば構造化された方法でプルーニングが行われ、すなわちConvNetsの場合、畳み込みフィルタ全体を除去する。 通常、l1ノルムやムーブメントのような一般的なプルーニング基準は、フィルターの個々の効用を考慮せず、これは(1)希少かつ重要かつ差別的な振る舞いを示すフィルタの除去、(2)冗長な情報を持つフィルタの保持につながる可能性がある。 本稿では,これらの2つの問題を解く手法について述べる。 この手法により、選択の基準は冗長なフィルタに焦点を合わせながら、希少なフィルタを維持し、残されるフィルタの多様性を最大化する。 異なるデータセット (CIFAR-10, CIFAR-100, CALTECH-101) と異なるアーキテクチャ (VGG-16, ResNet-18) を用いて行った実験結果から, フィルタ選択法をプルーニング基準に付加した場合, 高い性能を維持しつつ, 同様の空間レベルを達成可能であることが示された。 さらに,Lottery Ticket仮説を適用して,検出したスパースサブネットワークの品質を評価することにより,ほとんどの場合において,より優れたパフォーマンスのチケットを見つけることができることを示す。

関連論文リスト

• A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs [2.188091591747149]
  全体ネットワークフィルタプルーニングアルゴリズムは、各層から異なるフィルタ分を抽出するので、柔軟性が向上する。 本稿では,全ネットワークフィルタプルーニングにおける2段階階層的手法を提案する。 本稿では,ResNext101のRAM要件を7.6GBから1.5GBに削減し,CIFAR-10の精度を損なうことなくFLOPSの94%削減を実現する。
  論文  参考訳（メタデータ） (2024-08-22T03:59:57Z)
• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning [90.2947802490534]
  刈り取り基準の研究には2つの盲点がある。 フィルタのランク'Importance Score'はほぼ同じで、同様に刈り取られた構造になる。 いくつかのプルーニング基準で測定されたフィルタ'Importance Score'は、ネットワークの冗長性をよく区別するには近すぎる。
  論文  参考訳（メタデータ） (2020-04-24T09:54:21Z)
• Group Sparsity: The Hinge Between Filter Pruning and Decomposition for Network Compression [145.04742985050808]
  我々は,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的に解析する。 スパシティ正規化の実施方法を変えることにより、フィルタプルーニングと低ランク分解を導出することができる。 われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。
  論文  参考訳（メタデータ） (2020-03-19T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。