論文の概要: Dependency Aware Filter Pruning

• arxiv url: http://arxiv.org/abs/2005.02634v1
• Date: Wed, 6 May 2020 07:41:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 05:40:36.716922
• Title: Dependency Aware Filter Pruning
• Title（参考訳）: 依存関係認識フィルタのプルーニング
• Authors: Kai Zhao, Xin-Yu Zhang, Qi Han, and Ming-Ming Cheng
• Abstract要約: 重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
• 参考スコア（独自算出の注目度）: 74.69495455411987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) are typically over-parameterized, bringing considerable computational overhead and memory footprint in inference. Pruning a proportion of unimportant filters is an efficient way to mitigate the inference cost. For this purpose, identifying unimportant convolutional filters is the key to effective filter pruning. Previous work prunes filters according to either their weight norms or the corresponding batch-norm scaling factors, while neglecting the sequential dependency between adjacent layers. In this paper, we further develop the norm-based importance estimation by taking the dependency between the adjacent layers into consideration. Besides, we propose a novel mechanism to dynamically control the sparsity-inducing regularization so as to achieve the desired sparsity. In this way, we can identify unimportant filters and search for the optimal network architecture within certain resource budgets in a more principled manner. Comprehensive experimental results demonstrate the proposed method performs favorably against the existing strong baseline on the CIFAR, SVHN, and ImageNet datasets. The training sources will be publicly available after the review process.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は通常過パラメータ化され、計算オーバーヘッドと推論時のメモリフットプリントが大幅に増加する。 重要でないフィルタを割ることは、推論コストを軽減する効果的な方法である。 この目的のために、重要でない畳み込みフィルタを特定することが効果的なフィルタプルーニングの鍵となる。 以前の作業では、重みのノルムまたは対応するバッチノルムスケーリング係数に従ってフィルタをプルーンする一方で、隣接するレイヤ間のシーケンシャルな依存性を無視する。 本稿では,隣接層間の依存性を考慮した規範に基づく重要度推定法をさらに開発する。 また,発散誘導正規化を動的に制御し,所望の発散を達成するための新しい機構を提案する。 このようにして、重要でないフィルタを特定し、特定のリソース予算内で最適なネットワークアーキテクチャをより原則的に探索することができる。 提案手法は, CIFAR, SVHN, ImageNetデータセット上で, 既存の強いベースラインに対して良好に動作することを示す。 トレーニングソースは、レビュープロセスの後に公開されます。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• OrthoReg: Robust Network Pruning Using Orthonormality Regularization [7.754712828900727]
  本稿では,ネットワークフィルタの正則性を強制し,フィルタ間の相関を小さくする原理的正規化戦略を提案する。 VGG-13、MobileNet-V1、ResNet-34の反復的なプルーニングに使用する場合、OrthoRegは5つのベースライン技術より一貫して優れている。
  論文  参考訳（メタデータ） (2020-09-10T17:21:21Z)
• MINT: Deep Network Compression via Mutual Information-based Neuron Trimming [32.449324736645586]
  Mutual Information-based Neuron Trimming (MINT) はプルーニングによる深部圧縮にアプローチする。 MINTは、隣り合う層のフィルタ間の関係の強さに基づいて間隔を強制する。 ネットワークを刈り取る際には、保持されたフィルタが後続層への情報の大部分に寄与することを保証します。
  論文  参考訳（メタデータ） (2020-03-18T21:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。