論文の概要: Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters

• arxiv url: http://arxiv.org/abs/2202.07190v1
• Date: Tue, 15 Feb 2022 04:53:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 03:31:14.064354
• Title: Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters
• Title（参考訳）: クロスレイヤーランキングとk-reciprocal closest filterを用いたプルーニングネットワーク
• Authors: Mingbao Lin, Liujuan Cao, Yuxin Zhang, Ling Shao, Chia-Wen Lin, Rongrong Ji
• Abstract要約: フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 151.2423480789271
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper focuses on filter-level network pruning. A novel pruning method, termed CLR-RNF, is proposed. We first reveal a "long-tail" long-tail pruning problem in magnitude-based weight pruning methods, and then propose a computation-aware measurement for individual weight importance, followed by a Cross-Layer Ranking (CLR) of weights to identify and remove the bottom-ranked weights. Consequently, the per-layer sparsity makes up of the pruned network structure in our filter pruning. Then, we introduce a recommendation-based filter selection scheme where each filter recommends a group of its closest filters. To pick the preserved filters from these recommended groups, we further devise a k-Reciprocal Nearest Filter (RNF) selection scheme where the selected filters fall into the intersection of these recommended groups. Both our pruned network structure and the filter selection are non-learning processes, which thus significantly reduce the pruning complexity, and differentiate our method from existing works. We conduct image classification on CIFAR-10 and ImageNet to demonstrate the superiority of our CLR-RNF over the state-of-the-arts. For example, on CIFAR-10, CLR-RNF removes 74.1% FLOPs and 95.0% parameters from VGGNet-16 with even 0.3\% accuracy improvements. On ImageNet, it removes 70.2% FLOPs and 64.8% parameters from ResNet-50 with only 1.7% top-5 accuracy drops. Our project is at https://github.com/lmbxmu/CLR-RNF.
• Abstract（参考訳）: 本稿ではフィルタレベルのネットワークプルーニングについて述べる。 CLR-RNFと呼ばれる新しいプルーニング法を提案する。 まず「長尾」長尾の刈り取り問題を明らかにするとともに, 個々の重みの重要度を計算・認識し, 次いで重みのクロスレイヤーランキング (clr) を用いて下級重みを識別・除去する手法を提案する。 その結果, 層間間隔はフィルタプルーニングにおけるプルーンドネットワーク構造を構成することがわかった。 次に,各フィルタが最も近いフィルタ群を推奨する推奨ベースのフィルタ選択方式を提案する。 これらの推奨群から保存フィルタを選択するために、選択したフィルタが推奨群の交点に落ちるような k-Reciprocal Nearest Filter (RNF) の選択スキームを考案する。 刈り込みネットワーク構造とフィルタ選択はどちらも非学習プロセスであり、これにより刈り込みの複雑さを著しく低減し、既存の作業と区別する。 我々は,CIFAR-10とImageNetで画像分類を行い,CLR-RNFの最先端性を示す。 例えば CIFAR-10 では、CLR-RNF は VGGNet-16 から 74.1% FLOP と 95.0% のパラメータを削除し、精度は0.3\% まで向上した。 imagenetでは、70.2%のフロップと64.8%のパラメータをresnet-50から削除した。 私たちのプロジェクトはhttps://github.com/lmbxmu/clr-rnfです。

関連論文リスト

• Pruning by Active Attention Manipulation [49.61707925611295]
  CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。 ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。 PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-20T09:17:02Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• SNF: Filter Pruning via Searching the Proper Number of Filters [0.0]
  フィルタプルーニングは、冗長なフィルタを取り除き、端末デバイスにCNNを適用する可能性を提供することを目的としている。 フィルタの適切な個数(SNF)を探索し,新しいフィルタプルーニング法を提案する。 SNFは各レイヤに対して最も合理的な数のリザーブドフィルタを検索し、特定の基準でフィルタをプルーニングする。
  論文  参考訳（メタデータ） (2021-12-14T10:37:25Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Deep Model Compression based on the Training History [13.916984628784768]
  本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。 提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
  論文  参考訳（メタデータ） (2021-01-30T06:04:21Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。