論文の概要: Network Compression via Central Filter

• arxiv url: http://arxiv.org/abs/2112.05493v2
• Date: Mon, 13 Dec 2021 05:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 11:29:33.130162
• Title: Network Compression via Central Filter
• Title（参考訳）: 中央フィルタによるネットワーク圧縮
• Authors: Yuanzhi Duan, Xiaofang Hu, Yue Zhou, Qiang Liu, Shukai Duan
• Abstract要約: 本稿では,フィルタの適切な調整後に,フィルタが他のフィルタの集合とほぼ等しいことを示唆する,新しいフィルタプルーニング手法であるCentral Filter (CF)を提案する。 CFは様々なベンチマークネットワークやデータセットで最先端のパフォーマンスを得る。
• 参考スコア（独自算出の注目度）: 9.585818883354449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning has remarkable performance for reducing the complexity of deep network models. Recent network pruning methods usually focused on removing unimportant or redundant filters in the network. In this paper, by exploring the similarities between feature maps, we propose a novel filter pruning method, Central Filter (CF), which suggests that a filter is approximately equal to a set of other filters after appropriate adjustments. Our method is based on the discovery that the average similarity between feature maps changes very little, regardless of the number of input images. Based on this finding, we establish similarity graphs on feature maps and calculate the closeness centrality of each node to select the Central Filter. Moreover, we design a method to directly adjust weights in the next layer corresponding to the Central Filter, effectively minimizing the error caused by pruning. Through experiments on various benchmark networks and datasets, CF yields state-of-the-art performance. For example, with ResNet-56, CF reduces approximately 39.7% of FLOPs by removing 47.1% of the parameters, with even 0.33% accuracy improvement on CIFAR-10. With GoogLeNet, CF reduces approximately 63.2% of FLOPs by removing 55.6% of the parameters, with only a small loss of 0.35% in top-1 accuracy on CIFAR-10. With ResNet-50, CF reduces approximately 47.9% of FLOPs by removing 36.9% of the parameters, with only a small loss of 1.07% in top-1 accuracy on ImageNet. The codes can be available at https://github.com/8ubpshLR23/Central-Filter.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは、ディープネットワークモデルの複雑さを減らすための優れた性能を持つ。 最近のネットワークプルーニング手法は、ネットワーク内の重要でないフィルタや冗長なフィルタの除去に重点を置いている。 本稿では,特徴マップ間の類似性を検討することにより,フィルタの適切な調整により,フィルタが他のフィルタのセットとほぼ等しいことを示唆する,新しいフィルタプルーニング法であるセントラルフィルタ(cf)を提案する。 提案手法は,入力画像の数に関係なく,特徴マップ間の平均的類似性がほとんど変化しないことを示す。 この結果に基づき,特徴写像上の類似性グラフを確立し,各ノードの近接性中心度を計算して中央フィルタを選択する。 さらに, 中心フィルタに対応する次の層の重みを直接調整し, プルーニングによる誤差を効果的に最小化する手法を考案した。 様々なベンチマークネットワークとデータセットの実験を通じて、cfは最先端のパフォーマンスをもたらす。 例えば、ResNet-56では、CFはパラメータの47.1%を取り除き、約39.7%のFLOPを削減し、CIFAR-10の精度は0.33%向上した。 googlenetでは、cfは55.6%のパラメータを削除することでフロップの約63.2%を削減し、cifar-10のtop-1精度では0.35%の損失しかなかった。 ResNet-50では、パラメータの36.9%を削除することで、FLOPの約47.9%が削減され、ImageNetでは1.07%の精度しか失われていない。 コードはhttps://github.com/8ubpshLR23/Central-Filterで入手できる。

関連論文リスト

• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• SNF: Filter Pruning via Searching the Proper Number of Filters [0.0]
  フィルタプルーニングは、冗長なフィルタを取り除き、端末デバイスにCNNを適用する可能性を提供することを目的としている。 フィルタの適切な個数(SNF)を探索し,新しいフィルタプルーニング法を提案する。 SNFは各レイヤに対して最も合理的な数のリザーブドフィルタを検索し、特定の基準でフィルタをプルーニングする。
  論文  参考訳（メタデータ） (2021-12-14T10:37:25Z)
• CHIP: CHannel Independence-based Pruning for Compact Neural Networks [13.868303041084431]
  フィルタプルーニングは、実用的な加速を可能にするため、ニューラルネットワーク圧縮に広く利用されている。 本稿では,異なる特徴マップ間の相関を計測する指標であるChannel Independenceを用いて,効率的なフィルタプルーニングを実現することを提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:35:56Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• HRank: Filter Pruning using High-Rank Feature Map [149.86903824840752]
  我々は高階特徴写像(HRank)を探索する新しいフィルタ刈り法を提案する。 私たちのHRankは、単一のフィルタで生成された複数の特徴マップの平均ランクが常に同じであるという発見にインスピレーションを受けています。 HRankに基づいて,低ランク特徴写像を持つプーンフィルタに数学的に定式化する手法を開発した。
  論文  参考訳（メタデータ） (2020-02-24T11:50:09Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。