論文の概要: REPrune: Filter Pruning via Representative Election
- arxiv url: http://arxiv.org/abs/2007.06932v3
- Date: Tue, 21 Jul 2020 08:07:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 14:51:16.788543
- Title: REPrune: Filter Pruning via Representative Election
- Title(参考訳): RePrune: 代表選挙によるフィルタの停止
- Authors: Mincheol Park, Woojeong Kim, Suhyun Kim
- Abstract要約: REPruneはクラスタリングによって代表フィルタを選択する新しいフィルタプルーニング手法である。
CIFAR-10のResNet-110では0.53%の精度で49%以上のFLOPを削減した。
また、RePruneは41.8%以上のFLOPを削減し、ImageNetのResNet-18では1.67%のTop-1バリデーションが失われた。
- 参考スコア(独自算出の注目度): 3.867363075280544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Even though norm-based filter pruning methods are widely accepted, it is
questionable whether the "smaller-norm-less-important" criterion is optimal in
determining filters to prune. Especially when we can keep only a small fraction
of the original filters, it is more crucial to choose the filters that can best
represent the whole filters regardless of norm values. Our novel pruning method
entitled "REPrune" addresses this problem by selecting representative filters
via clustering. By selecting one filter from a cluster of similar filters and
avoiding selecting adjacent large filters, REPrune can achieve a better
compression rate with similar accuracy. Our method also recovers the accuracy
more rapidly and requires a smaller shift of filters during fine-tuning.
Empirically, REPrune reduces more than 49% FLOPs, with 0.53% accuracy gain on
ResNet-110 for CIFAR-10. Also, REPrune reduces more than 41.8% FLOPs with 1.67%
Top-1 validation loss on ResNet-18 for ImageNet.
- Abstract(参考訳): 標準型フィルタプルーニング法は広く受け入れられているが、フィルタのプルーを決定する上で「より小さいノルムの無い重要な」基準が最適か否かは疑わしい。
特に、元のフィルタのごく一部しか保持できない場合、標準値に関係なくフィルタ全体を表現することができるフィルタを選択することがより重要である。
本稿では,クラスタリングによる代表フィルタの選択により,この問題に対処する。
類似フィルタのクラスタから1つのフィルタを選択し、隣接する大きなフィルタを選択することを避けることで、REPruneは同様の精度でより良い圧縮率を達成することができる。
また,より高速に精度を回復し,微調整時のフィルタのシフトを小さくする。
実証的に、RePruneは49%以上のFLOPを削減し、CIFAR-10のResNet-110の精度は0.53%向上した。
また、RePruneは41.8%以上のFLOPを削減し、ImageNetのResNet-18では1.67%のTop-1バリデーションが失われた。
関連論文リスト
- Efficient CNNs via Passive Filter Pruning [23.661189257759535]
畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。
CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。
CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
論文 参考訳(メタデータ) (2023-04-05T09:19:19Z) - Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。
我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-15T04:53:24Z) - SNF: Filter Pruning via Searching the Proper Number of Filters [0.0]
フィルタプルーニングは、冗長なフィルタを取り除き、端末デバイスにCNNを適用する可能性を提供することを目的としている。
フィルタの適切な個数(SNF)を探索し,新しいフィルタプルーニング法を提案する。
SNFは各レイヤに対して最も合理的な数のリザーブドフィルタを検索し、特定の基準でフィルタをプルーニングする。
論文 参考訳(メタデータ) (2021-12-14T10:37:25Z) - Training Compact CNNs for Image Classification using Dynamic-coded
Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。
我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。
我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文 参考訳(メタデータ) (2021-07-14T18:07:38Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳(メタデータ) (2020-10-28T15:26:40Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z) - Filter Grafting for Deep Neural Networks: Reason, Method, and
Cultivation [86.91324735966766]
フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである
本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。
我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
論文 参考訳(メタデータ) (2020-04-26T08:36:26Z) - Convolutional Neural Network Pruning Using Filter Attenuation [10.282782377635106]
畳み込みニューラルネットワーク(CNN)におけるフィルタは必須要素である
フィルタプルーニング法では、チャネルや接続を含む全てのコンポーネントを持つフィルタが除去される。
弱いフィルタを直接除去しないフィルタ減衰に基づくCNNプルーニング手法を提案する。
論文 参考訳(メタデータ) (2020-02-09T06:31:24Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳(メタデータ) (2020-01-15T03:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。