論文の概要: End-to-End Sensitivity-Based Filter Pruning

• arxiv url: http://arxiv.org/abs/2204.07412v1
• Date: Fri, 15 Apr 2022 10:21:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 17:53:18.746247
• Title: End-to-End Sensitivity-Based Filter Pruning
• Title（参考訳）: 終端感度に基づくフィルタプルーニング
• Authors: Zahra Babaiee and Lucas Liebenwein and Ramin Hasani and Daniela Rus and Radu Grosu
• Abstract要約: 本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
• 参考スコア（独自算出の注目度）: 49.61707925611295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a novel sensitivity-based filter pruning algorithm (SbF-Pruner) to learn the importance scores of filters of each layer end-to-end. Our method learns the scores from the filter weights, enabling it to account for the correlations between the filters of each layer. Moreover, by training the pruning scores of all layers simultaneously our method can account for layer interdependencies, which is essential to find a performant sparse sub-network. Our proposed method can train and generate a pruned network from scratch in a straightforward, one-stage training process without requiring a pretrained network. Ultimately, we do not need layer-specific hyperparameters and pre-defined layer budgets, since SbF-Pruner can implicitly determine the appropriate number of channels in each layer. Our experimental results on different network architectures suggest that SbF-Pruner outperforms advanced pruning methods. Notably, on CIFAR-10, without requiring a pretrained baseline network, we obtain 1.02% and 1.19% accuracy gain on ResNet56 and ResNet110, compared to the baseline reported for state-of-the-art pruning algorithms. This is while SbF-Pruner reduces parameter-count by 52.3% (for ResNet56) and 54% (for ResNet101), which is better than the state-of-the-art pruning algorithms with a high margin of 9.5% and 6.6%.
• Abstract（参考訳）: 本稿では,各層におけるフィルタの重要度を評価するために,感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 本手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関関係を考慮できる。 さらに,すべてのレイヤのプルーニングスコアを同時にトレーニングすることで,性能の高いスパースサブネットワークを見つけるのに不可欠な層間依存性を考慮できる。 提案手法は,プレトレーニング済みのネットワークを必要とせずに,一段階の簡単なトレーニングプロセスで,スクラッチからプルーンドネットワークを訓練し,生成することができる。 最終的に、sbf-prunerは暗黙的に各層内の適切なチャネル数を決定できるため、レイヤ固有のハイパーパラメータや事前定義されたレイヤー予算は必要ない。 異なるネットワークアーキテクチャを用いた実験結果から,sbf-prunerは高度なpruning法よりも優れていることが示唆された。 特に、CIFAR-10では、事前訓練されたベースラインネットワークを必要とせずに、ResNet56とResNet110の精度1.02%と1.19%を得る。 SbF-Prunerはパラメータ数を52.3%(ResNet56用)と54%(ResNet101用)に減らし、9.5%と6.6%という最先端のプルーニングアルゴリズムよりも優れている。

関連論文リスト

• A Greedy Hierarchical Approach to Whole-Network Filter-Pruning in CNNs [2.188091591747149]
  全体ネットワークフィルタプルーニングアルゴリズムは、各層から異なるフィルタ分を抽出するので、柔軟性が向上する。 本稿では,全ネットワークフィルタプルーニングにおける2段階階層的手法を提案する。 本稿では,ResNext101のRAM要件を7.6GBから1.5GBに削減し,CIFAR-10の精度を損なうことなくFLOPSの94%削減を実現する。
  論文  参考訳（メタデータ） (2024-08-22T03:59:57Z)
• Pruning by Active Attention Manipulation [49.61707925611295]
  CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。 ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。 PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-20T09:17:02Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
  レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。 残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。 本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-11-29T12:51:16Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks [6.269700080380206]
  深層ネットワークの重みを少なくするプルーニング技術が提案されている。 本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。 その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
  論文  参考訳（メタデータ） (2020-03-05T18:05:17Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。