論文の概要: HRel: Filter Pruning based on High Relevance between Activation Maps and
Class Labels
- arxiv url: http://arxiv.org/abs/2202.10716v1
- Date: Tue, 22 Feb 2022 08:12:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 16:24:00.493980
- Title: HRel: Filter Pruning based on High Relevance between Activation Maps and
Class Labels
- Title（参考訳）: HRel: 活性化マップとクラスラベルの高関連性に基づくフィルタプルーニング
- Authors: CH Sarvani, Mrinmoy Ghorai, Shiv Ram Dubey, SH Shabbeer Basha
- Abstract要約: 本稿では,Mutual Information (MI) と呼ばれる統計測度を用いたインフォメーション・ボトルネック理論に基づくフィルタ・プルーニング手法を提案する。
既存のMIベースプルーニング法とは異なり,提案手法は,対応するアクティベーションマップとクラスラベルの関係に基づいて,フィルタの意義を純粋に決定する。
提案手法は,LeNet-5,VGG-16,ResNet-56,ResNet-110,ResNet-50アーキテクチャの最先端のプルーニング結果を示す。
- 参考スコア（独自算出の注目度）: 11.409989603679614
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper proposes an Information Bottleneck theory based filter pruning
method that uses a statistical measure called Mutual Information (MI). The MI
between filters and class labels, also called \textit{Relevance}, is computed
using the filter's activation maps and the annotations. The filters having High
Relevance (HRel) are considered to be more important. Consequently, the least
important filters, which have lower Mutual Information with the class labels,
are pruned. Unlike the existing MI based pruning methods, the proposed method
determines the significance of the filters purely based on their corresponding
activation map's relationship with the class labels. Architectures such as
LeNet-5, VGG-16, ResNet-56\textcolor{myblue}{, ResNet-110 and ResNet-50 are
utilized to demonstrate the efficacy of the proposed pruning method over MNIST,
CIFAR-10 and ImageNet datasets. The proposed method shows the state-of-the-art
pruning results for LeNet-5, VGG-16, ResNet-56, ResNet-110 and ResNet-50
architectures. In the experiments, we prune 97.98 \%, 84.85 \%, 76.89\%,
76.95\%, and 63.99\% of Floating Point Operation (FLOP)s from LeNet-5, VGG-16,
ResNet-56, ResNet-110, and ResNet-50 respectively.} The proposed HRel pruning
method outperforms recent state-of-the-art filter pruning methods. Even after
pruning the filters from convolutional layers of LeNet-5 drastically (i.e. from
20, 50 to 2, 3, respectively), only a small accuracy drop of 0.52\% is
observed. Notably, for VGG-16, 94.98\% parameters are reduced, only with a drop
of 0.36\% in top-1 accuracy. \textcolor{myblue}{ResNet-50 has shown a 1.17\%
drop in the top-5 accuracy after pruning 66.42\% of the FLOPs.} In addition to
pruning, the Information Plane dynamics of Information Bottleneck theory is
analyzed for various Convolutional Neural Network architectures with the effect
of pruning.
- Abstract（参考訳）: 本稿では,相互情報(mi)と呼ばれる統計的尺度を用いた情報ボトルネック理論に基づくフィルタプルーニング手法を提案する。
フィルタとクラスラベルの間のmiは \textit{relevance} とも呼ばれ、フィルタのアクティベーションマップとアノテーションを使って計算される。
高関連性フィルタ(HRel)はより重要であると考えられる。
これにより、クラスラベルとの相互情報が少ない最も重要なフィルタを刈り取ることができる。
既存のMIベースプルーニング法とは異なり,提案手法は,対応するアクティベーションマップとクラスラベルの関係に基づいて,フィルタの意義を純粋に決定する。
LeNet-5, VGG-16, ResNet-56\textcolor{myblue}{, ResNet-110, ResNet-50などのアーキテクチャを用いて, MNIST, CIFAR-10, ImageNetデータセット上のプルーニング手法の有効性を示す。
提案手法は,LeNet-5,VGG-16,ResNet-56,ResNet-110,ResNet-50アーキテクチャの最先端のプルーニング結果を示す。
実験では,LeNet-5,VGG-16,ResNet-56,ResNet-110,ResNet-50の各浮動小数点演算(FLOP)の97.98 \%,84.85 \%,76.89\%,76.95\%,63.99\%をプルーする。
} 提案したhrel pruningメソッドは,最新のstate-of-the-artフィルタのpruningメソッドを上回っている。
LeNet-5の畳み込み層からフィルタを抜いた後も(それぞれ20,50,2,3)、わずかに0.52\%の精度低下しか観測されない。
特にVGG-16では、94.98\%のパラメータが減少し、トップ1の精度は0.36\%となった。
textcolor{myblue}{resnet-50"では、フロップの66.42\%を刈り取った後、トップ5の精度が1.17\%低下した。
追及に加えて,情報ボトルネック理論の情報平面ダイナミクスは,プルーニングの効果を持つ様々な畳み込みニューラルネットワークアーキテクチャに対して解析される。
関連論文リスト
- Pruning by Active Attention Manipulation [49.61707925611295]
CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。
ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。
PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
論文 参考訳（メタデータ） (2022-10-20T09:17:02Z) - End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。
提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文 参考訳（メタデータ） (2022-04-15T10:21:05Z) - Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。
我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-15T04:53:24Z) - CHIP: CHannel Independence-based Pruning for Compact Neural Networks [13.868303041084431]
フィルタプルーニングは、実用的な加速を可能にするため、ニューラルネットワーク圧縮に広く利用されている。
本稿では,異なる特徴マップ間の相関を計測する指標であるChannel Independenceを用いて,効率的なフィルタプルーニングを実現することを提案する。
論文 参考訳（メタデータ） (2021-10-26T19:35:56Z) - Training Compact CNNs for Image Classification using Dynamic-coded
Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。
我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。
我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文 参考訳（メタデータ） (2021-07-14T18:07:38Z) - Deep Model Compression based on the Training History [13.916984628784768]
本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。
提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
論文 参考訳（メタデータ） (2021-01-30T06:04:21Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳（メタデータ） (2020-10-28T15:26:40Z) - Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。
われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。
CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文 参考訳（メタデータ） (2020-01-23T13:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。