論文の概要: Softer Pruning, Incremental Regularization

• arxiv url: http://arxiv.org/abs/2010.09498v1
• Date: Mon, 19 Oct 2020 13:37:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:36:45.600852
• Title: Softer Pruning, Incremental Regularization
• Title（参考訳）: ソフトプルーニング, インクリメンタル正規化
• Authors: Linhang Cai, Zhulin An, Chuanguang Yang and Yongjun Xu
• Abstract要約: ソフト・フィルタ・プルーニング (SFP) 法は、次の訓練の時期において、トレーニング中のプルーニングフィルタをゼロにし、それらを更新する。 訓練されたプルーニングフィルタを利用するために、SofteR Filter Pruning (S RFP)法とその変種であるAsymptotic SofteR Filter Pruning (AS RFP)法を提案した。 提案手法は, 各種ネットワーク, データセット, プルーニングレートで良好に動作し, 重み付きプルーニングにも適用可能である。
• 参考スコア（独自算出の注目度）: 12.190136491373359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network pruning is widely used to compress Deep Neural Networks (DNNs). The Soft Filter Pruning (SFP) method zeroizes the pruned filters during training while updating them in the next training epoch. Thus the trained information of the pruned filters is completely dropped. To utilize the trained pruned filters, we proposed a SofteR Filter Pruning (SRFP) method and its variant, Asymptotic SofteR Filter Pruning (ASRFP), simply decaying the pruned weights with a monotonic decreasing parameter. Our methods perform well across various networks, datasets and pruning rates, also transferable to weight pruning. On ILSVRC-2012, ASRFP prunes 40% of the parameters on ResNet-34 with 1.63% top-1 and 0.68% top-5 accuracy improvement. In theory, SRFP and ASRFP are an incremental regularization of the pruned filters. Besides, We note that SRFP and ASRFP pursue better results while slowing down the speed of convergence.
• Abstract（参考訳）: ネットワークプルーニングはディープニューラルネットワーク(DNN)の圧縮に広く用いられている。 ソフトフィルタ・プルーニング (SFP) 法は, 次の訓練の時期において, トレーニング中のプルーニングフィルタをゼロにする。 これにより、刈り取られたフィルタの訓練された情報が完全に削除される。 トレーニングされたプルーニングフィルタを利用するために,単調な減少パラメータで単にプルーニング重みを減衰させる,SofteR Filter Pruning (SRFP)法とその変種であるAsymptotic SofteR Filter Pruning (ASRFP)法を提案した。 提案手法は, 各種ネットワーク, データセット, プルーニングレートで良好に動作し, 重み付けにも適用可能である。 ilsvrc-2012 では、asrfp は resnet-34 のパラメータの 40% を 1.63% の top-1 と 0.68% のtop-5 精度改善で満たしている。 理論上、SRFP と ASRFP はプルーンドフィルタの漸進正規化である。 さらに, SRFP と ASRFP は収束速度を低下させながら, より良い結果を追求している。

関連論文リスト

• CR-SFP: Learning Consistent Representation for Soft Filter Pruning [18.701621806529438]
  ソフトフィルタプルーニング(SFP)は,プルーニングフィルタのネットワークへの更新と再グローを可能にする効果的なプルーニング技術として登場した。 CR-SFPと呼ばれるソフトフィルタプルーニングのための一貫した表現を学習することで,このギャップを軽減することを提案する。 CR-SFPは、追加の推論コストを導入することなくP-NNの精度を向上させるための、シンプルで効果的なトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2023-12-17T06:41:04Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
  フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。 我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-15T04:53:24Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• GHFP: Gradually Hard Filter Pruning [9.593208961737572]
  フィルタプルーニングは、ディープラーニングの計算を減らし、リソース制限されたデバイスへのディープニューラルネットワーク(DNN)の展開を可能にするために広く利用されている。 従来のハードフィルタ・プルーニング (HFP) 法では, プルーニングフィルタをゼロにし, 更新を停止し, モデルの探索空間を小さくする。 ソフトフィルタ・プルーニング(SFP)は単にプルーニングフィルタをゼロにし、次のトレーニングエポックで更新し、ネットワークの容量を維持する。 SFP法とHFP法を組み合わせることで,より優れた性能を実現し,収束を高速化できるかどうかが課題である。
  論文  参考訳（メタデータ） (2020-11-06T03:09:52Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。