論文の概要: HRank: Filter Pruning using High-Rank Feature Map

• arxiv url: http://arxiv.org/abs/2002.10179v2
• Date: Mon, 16 Mar 2020 23:50:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 04:06:11.625430
• Title: HRank: Filter Pruning using High-Rank Feature Map
• Title（参考訳）: HRank: High-Rank Feature Map を用いたフィルタプルーニング
• Authors: Mingbao Lin, Rongrong Ji, Yan Wang, Yichen Zhang, Baochang Zhang, Yonghong Tian, Ling Shao
• Abstract要約: 我々は高階特徴写像(HRank)を探索する新しいフィルタ刈り法を提案する。 私たちのHRankは、単一のフィルタで生成された複数の特徴マップの平均ランクが常に同じであるという発見にインスピレーションを受けています。 HRankに基づいて,低ランク特徴写像を持つプーンフィルタに数学的に定式化する手法を開発した。
• 参考スコア（独自算出の注目度）: 149.86903824840752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning offers a promising prospect to facilitate deploying deep neural networks on resource-limited devices. However, existing methods are still challenged by the training inefficiency and labor cost in pruning designs, due to missing theoretical guidance of non-salient network components. In this paper, we propose a novel filter pruning method by exploring the High Rank of feature maps (HRank). Our HRank is inspired by the discovery that the average rank of multiple feature maps generated by a single filter is always the same, regardless of the number of image batches CNNs receive. Based on HRank, we develop a method that is mathematically formulated to prune filters with low-rank feature maps. The principle behind our pruning is that low-rank feature maps contain less information, and thus pruned results can be easily reproduced. Besides, we experimentally show that weights with high-rank feature maps contain more important information, such that even when a portion is not updated, very little damage would be done to the model performance. Without introducing any additional constraints, HRank leads to significant improvements over the state-of-the-arts in terms of FLOPs and parameters reduction, with similar accuracies. For example, with ResNet-110, we achieve a 58.2%-FLOPs reduction by removing 59.2% of the parameters, with only a small loss of 0.14% in top-1 accuracy on CIFAR-10. With Res-50, we achieve a 43.8%-FLOPs reduction by removing 36.7% of the parameters, with only a loss of 1.17% in the top-1 accuracy on ImageNet. The codes can be available at https://github.com/lmbxmu/HRank.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは、リソース制限されたデバイスへのディープニューラルネットワークのデプロイを容易にする、有望な見通しを提供する。 しかしながら、既存の手法は、ネットワークコンポーネントの理論的指針が欠如しているため、プランニング設計における訓練の非効率さと労力コストに依然として挑戦されている。 本稿では,高階特徴写像(HRank)を探索し,新しいフィルタプルーニング手法を提案する。 私たちのHRankは、CNNが受信する画像バッチの数に関係なく、単一のフィルタによって生成された複数の特徴マップの平均ランクが常に同じである、という発見にインスピレーションを受けています。 HRankに基づいて,低ランク特徴写像を持つプーンフィルタに数学的に定式化する手法を開発した。 プルーニングの背後にある原則は、低ランクのフィーチャーマップは情報が少ないので、プルーニングの結果は簡単に再現できるということです。 また,高ランク特徴マップの重み付けには,更新されていない部分でもモデル性能にほとんどダメージが及ばないような重要な情報が含まれていることを実験的に示す。 追加の制約を導入することなく、HRankはFLOPとパラメータの削減の観点から、同様の精度で最先端よりも大幅に改善される。 例えば、resnet-110では、パラメータの59.2%を除去して58.2%のflops削減を達成し、cifar-10ではtop-1精度で0.14%の損失しか得られなかった。 Res-50では、パラメータの36.7%を削除して43.8%のFLOPを削減でき、ImageNetの1.17%の精度しか失われなかった。 コードはhttps://github.com/lmbxmu/HRank.comで入手できる。

関連論文リスト

• HRel: Filter Pruning based on High Relevance between Activation Maps and Class Labels [11.409989603679614]
  本稿では,Mutual Information (MI) と呼ばれる統計測度を用いたインフォメーション・ボトルネック理論に基づくフィルタ・プルーニング手法を提案する。 既存のMIベースプルーニング法とは異なり,提案手法は,対応するアクティベーションマップとクラスラベルの関係に基づいて,フィルタの意義を純粋に決定する。 提案手法は,LeNet-5,VGG-16,ResNet-56,ResNet-110,ResNet-50アーキテクチャの最先端のプルーニング結果を示す。
  論文  参考訳（メタデータ） (2022-02-22T08:12:22Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• SNF: Filter Pruning via Searching the Proper Number of Filters [0.0]
  フィルタプルーニングは、冗長なフィルタを取り除き、端末デバイスにCNNを適用する可能性を提供することを目的としている。 フィルタの適切な個数(SNF)を探索し,新しいフィルタプルーニング法を提案する。 SNFは各レイヤに対して最も合理的な数のリザーブドフィルタを検索し、特定の基準でフィルタをプルーニングする。
  論文  参考訳（メタデータ） (2021-12-14T10:37:25Z)
• Network Compression via Central Filter [9.585818883354449]
  本稿では,フィルタの適切な調整後に,フィルタが他のフィルタの集合とほぼ等しいことを示唆する,新しいフィルタプルーニング手法であるCentral Filter (CF)を提案する。 CFは様々なベンチマークネットワークやデータセットで最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-12-10T12:51:04Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
  本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。 記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。 私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
  論文  参考訳（メタデータ） (2020-07-07T07:56:45Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。