論文の概要: Filter Pruning based on Information Capacity and Independence
- arxiv url: http://arxiv.org/abs/2303.03645v1
- Date: Tue, 7 Mar 2023 04:26:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 16:37:21.080690
- Title: Filter Pruning based on Information Capacity and Independence
- Title(参考訳): 情報容量と独立性に基づくフィルタプルーニング
- Authors: Xiaolong Tang, Tianheng Hu and Yufeng Shi
- Abstract要約: 畳み込みニューラルネットワーク(CNN)の圧縮と加速にフィルタプルーニングが広く用いられている
既存の手法の多くは、計算コストと偏りのあるフィルタ選択によって依然として挑戦されている。
本稿では,フィルタを解釈可能,多パーフェクティブ,データフリーな方法で評価する新しいフィルタプルーニング手法を提案する。
- 参考スコア(独自算出の注目度): 1.662966122370634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Filter pruning has been widely used in the compression and acceleration of
convolutional neural networks (CNNs). However, most existing methods are still
challenged by heavy compute cost and biased filter selection. Moreover, most
designs for filter evaluation miss interpretability due to the lack of
appropriate theoretical guidance. In this paper, we propose a novel filter
pruning method which evaluates filters in a interpretable, multi-persepective
and data-free manner. We introduce information capacity, a metric that
represents the amount of information contained in a filter. Based on the
interpretability and validity of information entropy, we propose to use that as
a quantitative index of information quantity. Besides, we experimently show
that the obvious correlation between the entropy of the feature map and the
corresponding filter, so as to propose an interpretable, data-driven scheme to
measure the information capacity of the filter. Further, we introduce
information independence, another metric that represents the correlation among
differrent filters. Consequently, the least impotant filters, which have less
information capacity and less information independence, will be pruned. We
evaluate our method on two benchmarks using multiple representative CNN
architectures, including VGG-16 and ResNet. On CIFAR-10, we reduce 71.9% of
floating-point operations (FLOPs) and 69.4% of parameters for ResNet-110 with
0.28% accuracy increase. On ILSVRC-2012, we reduce 76.6% of floating-point
operations (FLOPs) and 68.6% of parameters for ResNet-50 with only 2.80%
accuracy decrease, which outperforms the state-of-the-arts.
- Abstract(参考訳): フィルタプルーニングは畳み込みニューラルネットワーク(CNN)の圧縮と加速に広く用いられている。
しかし,既存の手法の多くは,計算コストの増大やフィルタ選択の偏りが問題となっている。
さらに, フィルタ評価のほとんどの設計は, 適切な理論的ガイダンスが欠如しているため, 解釈可能性に欠ける。
本稿では,フィルタを解釈可能,多パーフェクティブ,データフリーな方法で評価する新しいフィルタプルーニング手法を提案する。
我々は,フィルタに含まれる情報量を表す指標である情報容量を導入する。
情報エントロピーの解釈可能性と妥当性に基づき,情報量の定量的指標として利用することを提案する。
また,特徴マップのエントロピーと対応するフィルタとの間に明らかな相関関係があることを実験的に示し,フィルタの情報容量を測定するための解釈可能なデータ駆動スキームを提案する。
さらに、異なるフィルタ間の相関を表す別の指標である情報独立を導入する。
その結果、情報の容量が少なく、情報の独立性が低い最小限のフィルタが切断される。
VGG-16やResNetなど,複数の代表的CNNアーキテクチャを用いて2つのベンチマークで評価を行った。
CIFAR-10では、浮動小数点演算(FLOP)の71.9%とResNet-110の69.4%のパラメータを0.28%の精度で削減する。
ilsvrc-2012では、浮動小数点演算(flops)の76.6%、resnet-50のパラメータの68.6%を2.80%の精度で削減した。
関連論文リスト
- Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳(メタデータ) (2023-07-01T02:28:41Z) - Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced
Medical Image Analysis [1.3443196224057659]
ディープニューラルネットワークには、多数のパラメータと操作が含まれている。
計算資源が限られているデバイス上でこれらのモデルを実装するのは困難である。
本研究では,フィルタの入力と出力を,不均衡なデータセットを扱うフィルタの値とともに考慮し,新しいフィルタプルーニング手法を提案する。
論文 参考訳(メタデータ) (2023-04-15T03:05:47Z) - Efficient CNNs via Passive Filter Pruning [23.661189257759535]
畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。
CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。
CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
論文 参考訳(メタデータ) (2023-04-05T09:19:19Z) - Batch Normalization Tells You Which Filter is Important [49.903610684578716]
我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。
CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2021-12-02T12:04:59Z) - Training Compact CNNs for Image Classification using Dynamic-coded
Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。
我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。
我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文 参考訳(メタデータ) (2021-07-14T18:07:38Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳(メタデータ) (2020-10-28T15:26:40Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z) - Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。
われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。
CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文 参考訳(メタデータ) (2020-01-23T13:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。