論文の概要: Pruning-aware Sparse Regularization for Network Pruning

• arxiv url: http://arxiv.org/abs/2201.06776v1
• Date: Tue, 18 Jan 2022 07:19:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 13:27:25.961074
• Title: Pruning-aware Sparse Regularization for Network Pruning
• Title（参考訳）: ネットワークpruningのためのpruning-aware sparse regularization
• Authors: Nanfei Jiang, Xu Zhao, Chaoyang Zhao, Yongqi An, Ming Tang, Jinqiao Wang
• Abstract要約: 構造的ニューラルネットワークプルーニングは、深部畳み込みニューラルネットワーク(CNN)の冗長チャネルを取り除くことを目的としている 本稿では,これらの疎性学習に基づく手法を解析し,未処理チャネルの正規化は不要であることを示す。 そこで本研究では,プラニング対応スパース正規化を用いた新しいプルーニング手法であるMaskSparsityを提案する。
• 参考スコア（独自算出の注目度）: 41.48895612447438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structural neural network pruning aims to remove the redundant channels in the deep convolutional neural networks (CNNs) by pruning the filters of less importance to the final output accuracy. To reduce the degradation of performance after pruning, many methods utilize the loss with sparse regularization to produce structured sparsity. In this paper, we analyze these sparsity-training-based methods and find that the regularization of unpruned channels is unnecessary. Moreover, it restricts the network's capacity, which leads to under-fitting. To solve this problem, we propose a novel pruning method, named MaskSparsity, with pruning-aware sparse regularization. MaskSparsity imposes the fine-grained sparse regularization on the specific filters selected by a pruning mask, rather than all the filters of the model. Before the fine-grained sparse regularization of MaskSparity, we can use many methods to get the pruning mask, such as running the global sparse regularization. MaskSparsity achieves 63.03%-FLOPs reduction on ResNet-110 by removing 60.34% of the parameters, with no top-1 accuracy loss on CIFAR-10. On ILSVRC-2012, MaskSparsity reduces more than 51.07% FLOPs on ResNet-50, with only a loss of 0.76% in the top-1 accuracy. The code is released at https://github.com/CASIA-IVA-Lab/MaskSparsity. Moreover, we have integrated the code of MaskSparity into a PyTorch pruning toolkit, EasyPruner, at https://gitee.com/casia_iva_engineer/easypruner.
• Abstract（参考訳）: 構造ニューラルネットワークのプルーニングは、最終的な出力精度よりも重要度の低いフィルタをプルーニングすることで、深層畳み込みニューラルネットワーク(cnns)の冗長チャネルを除去することを目的としている。 刈り込み後の性能劣化を低減するため, スパース正則化による損失を利用して, 構造的疎度を生成する方法が多い。 本稿では,これらの疎性学習に基づく手法を解析し,未処理チャネルの正規化は不要であることを示す。 さらに、ネットワークの容量を制限し、不適合につながる。 そこで本稿では,pruning-aware sparse regularization を用いた新しいpruning法である masksparsity を提案する。 masksparsityは、モデルの全フィルタではなく、プルーニングマスクによって選択された特定のフィルタに細粒度のスパース正規化を課す。 MaskSparityの細粒度スパース正規化の前には、グローバルスパース正規化の実行など、プルーニングマスクの取得に多くの方法を用いることができる。 MaskSparsityは60.34%のパラメータを削除し、ResNet-110で63.03%のFLOPを削減した。 ILSVRC-2012では、MaskSparsityはResNet-50上で51.07%以上のFLOPを削減し、トップ1の精度は0.76%しか失われていない。 コードはhttps://github.com/CASIA-IVA-Lab/MaskSparsityで公開されている。 さらに、MaskSparityのコードを、https://gitee.com/casia_iva_engineer/easyprunerでPyTorchプルーニングツールキットEasyPrunerに統合しました。

関連論文リスト

• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks [3.5636461829966093]
  階層型群スパース正規化を用いたフィルタプルーニング法を提案する。 CIFAR-10ではResNetの50%以上のパラメータを削減できるが、テストサンプルの精度は0.3%しか低下しない。 また、TinyImageNet-200では、ResNetの34%のパラメータがベースラインネットワークよりも高い精度で削減されている。
  論文  参考訳（メタデータ） (2020-11-04T16:29:41Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)
• Pruning CNN's with linear filter ensembles [0.0]
  ネットワークサイズを減らし、(暗黙的に)浮動小数点演算(FLOP)の数を減らすためにプルーニングを使用します。 本稿では,ネットワークアーキテクチャからコンポーネントの存在や削除によって生じる経験的損失の変化に基づく,新しいフィルタ重要基準を開発する。 我々は,CIFAR-10データセットに基づいてトレーニングしたResNetアーキテクチャと同様に,完全に接続されたネットワーク上で本手法を評価する。
  論文  参考訳（メタデータ） (2020-01-22T16:52:06Z)
• Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators [0.04666493857924356]
  本稿では, 段階的刈り込みによるCNNのスパース訓練について検討する。 強制空間の構造を単純化し、正規化によるオーバーヘッドを低減する。 本稿では,ResNet-50とResNet-50 v1.5のスパースバージョンをフルイメージネット上で生成し,1%の精度損失の範囲内に留まっていることを示す。
  論文  参考訳（メタデータ） (2020-01-09T23:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。