論文の概要: WHC: Weighted Hybrid Criterion for Filter Pruning on Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2302.08185v1
• Date: Thu, 16 Feb 2023 10:10:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 14:26:53.445157
• Title: WHC: Weighted Hybrid Criterion for Filter Pruning on Convolutional Neural Networks
• Title（参考訳）: WHC:畳み込みニューラルネットワークを用いたフィルタプルーニングのための重み付きハイブリッド基準
• Authors: Shaowu Chen, Weize Sun, Lei Huang
• Abstract要約: フィルタプルーニングは近年、畳み込みニューラルネットワークの圧縮と加速の能力で注目を集めている。 標準ベースと関係ベースを含む様々なデータ非依存の基準が提案され、最も重要でないフィルタを創出する。 我々は、標準基準と関係基準の両方の問題に対処するために、新しいデータ非依存基準であるWeighted Hybrid Criterionを導入する。
• 参考スコア（独自算出の注目度）: 6.741182160506872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Filter pruning has attracted increasing attention in recent years for its capacity in compressing and accelerating convolutional neural networks. Various data-independent criteria, including norm-based and relationship-based ones, were proposed to prune the most unimportant filters. However, these state-of-the-art criteria fail to fully consider the dissimilarity of filters, and thus might lead to performance degradation. In this paper, we first analyze the limitation of relationship-based criteria with examples, and then introduce a new data-independent criterion, Weighted Hybrid Criterion (WHC), to tackle the problems of both norm-based and relationship-based criteria. By taking the magnitude of each filter and the linear dependence between filters into consideration, WHC can robustly recognize the most redundant filters, which can be safely pruned without introducing severe performance degradation to networks. Extensive pruning experiments in a simple one-shot manner demonstrate the effectiveness of the proposed WHC. In particular, WHC can prune ResNet-50 on ImageNet with more than 42% of floating point operations reduced without any performance loss in top-5 accuracy.
• Abstract（参考訳）: フィルタプルーニングは近年、畳み込みニューラルネットワークの圧縮と加速の能力で注目を集めている。 標準ベースや関係ベースを含む様々なデータ非依存の基準が提案され、最も重要なフィルタを損なう。 しかし、これらの最先端の基準はフィルタの相似性を十分に考慮せず、性能劣化につながる可能性がある。 本稿では,まず関係ベース基準の限界を例で分析し,その後,規範ベースと関係ベースの両方の問題に取り組むために,新しいデータ非依存基準である重み付きハイブリッド基準(whc)を導入する。 フィルタの大きさとフィルタ間の線形依存性を考慮することで、WHCはネットワークに深刻な性能劣化をもたらすことなく安全に切断できる最も冗長なフィルタを確実に認識することができる。 簡単なワンショットで大規模な刈り取り実験を行い、提案したWHCの有効性を示した。 特に、WHCはImageNet上でResNet-50を作成でき、42%以上の浮動小数点演算をトップ5の精度でパフォーマンスを損なうことなく削減できる。

関連論文リスト

• Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
  SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。 刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。 我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-03T05:26:05Z)
• Filter Pruning via Filters Similarity in Consecutive Layers [20.29555787754269]
  畳み込みニューラルネットワーク(CNN)の圧縮と高速化にフィルタプルーニングが広く採用されている 我々は,FSCL(Consecutive Layers)におけるフィルタ類似性を明示的に活用して,新しいプルーニング手法を直感的に提案する。 実験によりFSCLの有効性が示され, 精度, FLOP, パラメータ還元に対する最先端技術よりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2023-04-26T09:18:38Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Blending Pruning Criteria for Convolutional Neural Networks [13.259106518678474]
  近年のネットワークプルーニングは,モデルの冗長性を低減するための有効な手法である。 ある基準に従って1つのフィルタが重要になりうるが、別の基準によっては不要であり、これは各基準が包括的「重要度」の部分的なビューであることを示している。 本稿では,既存のフィルタプルーニング基準を統合するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-11T12:34:19Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning [90.2947802490534]
  刈り取り基準の研究には2つの盲点がある。 フィルタのランク'Importance Score'はほぼ同じで、同様に刈り取られた構造になる。 いくつかのプルーニング基準で測定されたフィルタ'Importance Score'は、ネットワークの冗長性をよく区別するには近すぎる。
  論文  参考訳（メタデータ） (2020-04-24T09:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。