論文の概要: Blending Pruning Criteria for Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2107.05033v1
• Date: Sun, 11 Jul 2021 12:34:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:22:09.942879
• Title: Blending Pruning Criteria for Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークのためのプルーニング基準のブレンディング
• Authors: Wei He, Zhongzhan Huang, Mingfu Liang, Senwei Liang, Haizhao Yang
• Abstract要約: 近年のネットワークプルーニングは,モデルの冗長性を低減するための有効な手法である。 ある基準に従って1つのフィルタが重要になりうるが、別の基準によっては不要であり、これは各基準が包括的「重要度」の部分的なビューであることを示している。 本稿では,既存のフィルタプルーニング基準を統合するための新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 13.259106518678474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advancement of convolutional neural networks (CNNs) on various vision applications has attracted lots of attention. Yet the majority of CNNs are unable to satisfy the strict requirement for real-world deployment. To overcome this, the recent popular network pruning is an effective method to reduce the redundancy of the models. However, the ranking of filters according to their "importance" on different pruning criteria may be inconsistent. One filter could be important according to a certain criterion, while it is unnecessary according to another one, which indicates that each criterion is only a partial view of the comprehensive "importance". From this motivation, we propose a novel framework to integrate the existing filter pruning criteria by exploring the criteria diversity. The proposed framework contains two stages: Criteria Clustering and Filters Importance Calibration. First, we condense the pruning criteria via layerwise clustering based on the rank of "importance" score. Second, within each cluster, we propose a calibration factor to adjust their significance for each selected blending candidates and search for the optimal blending criterion via Evolutionary Algorithm. Quantitative results on the CIFAR-100 and ImageNet benchmarks show that our framework outperforms the state-of-the-art baselines, regrading to the compact model performance after pruning.
• Abstract（参考訳）: 様々な視覚アプリケーションにおける畳み込みニューラルネットワーク(CNN)の進歩は多くの注目を集めている。 しかし、CNNの大多数は、現実世界のデプロイメントの厳しい要件を満たすことができません。 これを解決するために、最近の人気ネットワークプルーニングはモデルの冗長性を抑える効果的な方法である。 しかし、異なる刈り取り基準での「類似性」によるフィルタのランキングは矛盾する可能性がある。 1つのフィルタは特定の基準に従って重要であり、もう1つの基準では不要であり、これは各基準が包括的な「重要度」の部分的なビューであることを示している。 このモチベーションから,既存のフィルタプルーニング基準を統合するための新しい枠組みを提案する。 提案手法は,基準クラスタリングとフィルタ重要度校正の2段階を含む。 まず,「重要」スコアのランクに基づいて,階層的クラスタリングによってプルーニング基準を導出する。 第2に,各クラスタ内で選択されたブレンド候補の重要度を調整し,最適ブレンド基準を進化的アルゴリズムで探索するキャリブレーション係数を提案する。 CIFAR-100 と ImageNet ベンチマークの定量的結果は,我々のフレームワークが最先端のベースラインより優れており,刈り込み後のコンパクトモデル性能に低下していることを示している。

関連論文リスト

• Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
  きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。 本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。 本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-01T11:15:50Z)
• WHC: Weighted Hybrid Criterion for Filter Pruning on Convolutional Neural Networks [6.741182160506872]
  フィルタプルーニングは近年、畳み込みニューラルネットワークの圧縮と加速の能力で注目を集めている。 標準ベースと関係ベースを含む様々なデータ非依存の基準が提案され、最も重要でないフィルタを創出する。 我々は、標準基準と関係基準の両方の問題に対処するために、新しいデータ非依存基準であるWeighted Hybrid Criterionを導入する。
  論文  参考訳（メタデータ） (2023-02-16T10:10:40Z)
• Improve Convolutional Neural Network Pruning by Maximizing Filter Variety [0.0]
  ニューラルネットワークプルーニングは、モデルストレージと計算要求を減らすために広く利用されている戦略である。 l1ノルムやムーブメントのような一般的なプルーニング基準は、フィルターの個々の効用を考慮しないのが普通である。 本稿では,これらの2つの課題を解決し,どのプルーニング基準にも適用できる手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:59Z)
• Rethinking Counting and Localization in Crowds:A Purely Point-Based Framework [59.578339075658995]
  そこで本稿では,共同クラウドカウントと個別ローカライゼーションのための純粋にポイントベースのフレームワークを提案する。 我々は、P2PNet(Point to Point Network)と呼ばれる、このフレームワークの下で直感的なソリューションを設計する。
  論文  参考訳（メタデータ） (2021-07-27T11:41:50Z)
• CRACT: Cascaded Regression-Align-Classification for Robust Visual Tracking [97.84109669027225]
  改良された提案改良モジュールCascaded Regression-Align- Classification (CRAC)を導入する。 CRACは多くのベンチマークで最先端のパフォーマンスを得る。 OTB-2015、UAV123、NfS、VOT-2018、TrackingNet、GOT-10k、LaSOTを含む7つのベンチマークの実験において、我々のCRACTは最先端の競合他社と比較して非常に有望な結果を示している。
  論文  参考訳（メタデータ） (2020-11-25T02:18:33Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)
• Slimming Neural Networks using Adaptive Connectivity Scores [28.872080203221934]
  適応接続スコア(SNACS)を用いたスライミングニューラルネットワーク(Slimming Neural Network)と呼ばれる単発完全自動プルーニングアルゴリズムを提案する。 提案手法は,確率的プルーニングの枠組みを基礎となる重み行列の制約と組み合わせたものである。 SNACSは17倍以上高速である。
  論文  参考訳（メタデータ） (2020-06-22T17:45:16Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning [90.2947802490534]
  刈り取り基準の研究には2つの盲点がある。 フィルタのランク'Importance Score'はほぼ同じで、同様に刈り取られた構造になる。 いくつかのプルーニング基準で測定されたフィルタ'Importance Score'は、ネットワークの冗長性をよく区別するには近すぎる。
  論文  参考訳（メタデータ） (2020-04-24T09:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。