論文の概要: Data Agnostic Filter Gating for Efficient Deep Networks

• arxiv url: http://arxiv.org/abs/2010.15041v1
• Date: Wed, 28 Oct 2020 15:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 05:38:56.236614
• Title: Data Agnostic Filter Gating for Efficient Deep Networks
• Title（参考訳）: 効率的なディープネットワークのためのデータ非依存フィルタゲーティング
• Authors: Xiu Su, Shan You, Tao Huang, Hongyan Xu, Fei Wang, Chen Qian, Changshui Zhang, Chang Xu
• Abstract要約: 現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
• 参考スコア（独自算出の注目度）: 72.4615632234314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To deploy a well-trained CNN model on low-end computation edge devices, it is usually supposed to compress or prune the model under certain computation budget (e.g., FLOPs). Current filter pruning methods mainly leverage feature maps to generate important scores for filters and prune those with smaller scores, which ignores the variance of input batches to the difference in sparse structure over filters. In this paper, we propose a data agnostic filter pruning method that uses an auxiliary network named Dagger module to induce pruning and takes pretrained weights as input to learn the importance of each filter. In addition, to help prune filters with certain FLOPs constraints, we leverage an explicit FLOPs-aware regularization to directly promote pruning filters toward target FLOPs. Extensive experimental results on CIFAR-10 and ImageNet datasets indicate our superiority to other state-of-the-art filter pruning methods. For example, our 50\% FLOPs ResNet-50 can achieve 76.1\% Top-1 accuracy on ImageNet dataset, surpassing many other filter pruning methods.
• Abstract（参考訳）: 十分に訓練されたcnnモデルをローエンドの計算エッジデバイスにデプロイするには、通常、一定の計算予算(例えばフロップス)の下でモデルを圧縮またはプルする。 現在のフィルタプルーニング法は、主に特徴マップを利用して、フィルタの重要なスコアを生成し、より小さなスコアでプルーンし、入力バッチの分散をフィルタ上のスパース構造の違いに無視する。 本稿では,daggerモジュールと呼ばれる補助ネットワークを用いてpruningを誘導し,事前学習した重みを入力として各フィルタの重要性を学習するデータ非依存フィルタpruning手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接ターゲットFLOPに向けて推進する。 CIFAR-10とImageNetデータセットの大規模な実験結果は、他の最先端のフィルタプルーニング法よりも優れていることを示している。 例えば、50\%のFLOPs ResNet-50は、ImageNetデータセット上で76.1\%のTop-1精度を実現し、他の多くのフィルタプルーニングメソッドを上回ります。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Deep Model Compression based on the Training History [13.916984628784768]
  本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。 提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
  論文  参考訳（メタデータ） (2021-01-30T06:04:21Z)
• To Filter Prune, or to Layer Prune, That Is The Question [13.450136532402226]
  遅延低減の観点からフィルタプルーニング手法の限界を示す。 同様の精度でフィルタプルーニング法よりも高い遅延低減を実現するための,異なる基準に基づくレイヤプルーニング法を提案する。 LayerPruneはまた、ImageNetデータセットの同様の遅延予算に対して、Shufflenet、MobileNet、MNASNet、ResNet18などの手作りアーキテクチャを7.3%、4.6%、2.8%、0.5%で上回っている。
  論文  参考訳（メタデータ） (2020-07-11T02:51:40Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。