論文の概要: GHFP: Gradually Hard Filter Pruning
- arxiv url: http://arxiv.org/abs/2011.03170v1
- Date: Fri, 6 Nov 2020 03:09:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 04:42:22.805252
- Title: GHFP: Gradually Hard Filter Pruning
- Title（参考訳）: GHFP: 段階的にハードなフィルタプルーニング
- Authors: Linhang Cai, Zhulin An, Yongjun Xu
- Abstract要約: フィルタプルーニングは、ディープラーニングの計算を減らし、リソース制限されたデバイスへのディープニューラルネットワーク(DNN)の展開を可能にするために広く利用されている。
従来のハードフィルタ・プルーニング (HFP) 法では, プルーニングフィルタをゼロにし, 更新を停止し, モデルの探索空間を小さくする。
ソフトフィルタ・プルーニング(SFP)は単にプルーニングフィルタをゼロにし、次のトレーニングエポックで更新し、ネットワークの容量を維持する。
SFP法とHFP法を組み合わせることで,より優れた性能を実現し,収束を高速化できるかどうかが課題である。
- 参考スコア（独自算出の注目度）: 9.593208961737572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Filter pruning is widely used to reduce the computation of deep learning,
enabling the deployment of Deep Neural Networks (DNNs) in resource-limited
devices. Conventional Hard Filter Pruning (HFP) method zeroizes pruned filters
and stops updating them, thus reducing the search space of the model. On the
contrary, Soft Filter Pruning (SFP) simply zeroizes pruned filters, keeping
updating them in the following training epochs, thus maintaining the capacity
of the network. However, SFP, together with its variants, converges much slower
than HFP due to its larger search space. Our question is whether SFP-based
methods and HFP can be combined to achieve better performance and speed up
convergence. Firstly, we generalize SFP-based methods and HFP to analyze their
characteristics. Then we propose a Gradually Hard Filter Pruning (GHFP) method
to smoothly switch from SFP-based methods to HFP during training and pruning,
thus maintaining a large search space at first, gradually reducing the capacity
of the model to ensure a moderate convergence speed. Experimental results on
CIFAR-10/100 show that our method achieves the state-of-the-art performance.
- Abstract（参考訳）: フィルタプルーニングはディープラーニングの計算を減らすために広く使われており、リソース制限されたデバイスにディープニューラルネットワーク(DNN)をデプロイすることができる。
従来のハードフィルタ・プルーニング (HFP) 法では, プルーニングフィルタをゼロにし, 更新を停止し, モデルの探索空間を小さくする。
それに対して、soft filter pruning (sfp) は、単にprunedフィルタをゼロにし、以下のトレーニング時代の更新を続け、ネットワークのキャパシティを維持する。
しかし、SFPはその変種とともに、より大きな探索空間のため、HFPよりもはるかに遅く収束する。
SFP法とHFP法を組み合わせることで,より優れた性能を実現し,収束を高速化できるかどうかが課題である。
まず, SFP法とHFP法を一般化し, その特性を解析する。
そこで,本研究では,sfp法からhfp法にスムースに切り替える段階的ハードフィルタプルーニング(ghfp)法を提案する。
CIFAR-10/100の実験結果から,本手法が最先端性能を実現することを示す。
関連論文リスト
- CR-SFP: Learning Consistent Representation for Soft Filter Pruning [18.701621806529438]
ソフトフィルタプルーニング(SFP)は,プルーニングフィルタのネットワークへの更新と再グローを可能にする効果的なプルーニング技術として登場した。
CR-SFPと呼ばれるソフトフィルタプルーニングのための一貫した表現を学習することで,このギャップを軽減することを提案する。
CR-SFPは、追加の推論コストを導入することなくP-NNの精度を向上させるための、シンプルで効果的なトレーニングフレームワークである。
論文 参考訳（メタデータ） (2023-12-17T06:41:04Z) - An Ensemble Score Filter for Tracking High-Dimensional Nonlinear Dynamical Systems [10.997994515823798]
本研究では,高次元非線形フィルタ問題に対するアンサンブルスコアフィルタ(EnSF)を提案する。
ニューラルネットワークをトレーニングしてスコア関数を近似する既存の拡散モデルとは異なり、トレーニング不要スコア推定を開発する。
EnSFは、最先端のLocal Ensemble Transform Kalman Filter法と比較して、驚くべきパフォーマンスを提供する。
論文 参考訳（メタデータ） (2023-09-02T16:48:02Z) - Filter Pruning via Filters Similarity in Consecutive Layers [20.29555787754269]
畳み込みニューラルネットワーク(CNN)の圧縮と高速化にフィルタプルーニングが広く採用されている
我々は,FSCL(Consecutive Layers)におけるフィルタ類似性を明示的に活用して,新しいプルーニング手法を直感的に提案する。
実験によりFSCLの有効性が示され, 精度, FLOP, パラメータ還元に対する最先端技術よりも顕著な改善が得られた。
論文 参考訳（メタデータ） (2023-04-26T09:18:38Z) - Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。
Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。
提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
論文 参考訳（メタデータ） (2022-06-16T13:58:58Z) - Interspace Pruning: Using Adaptive Filter Representations to Improve
Training of Sparse CNNs [69.3939291118954]
非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している
標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。
既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
論文 参考訳（メタデータ） (2022-03-15T11:50:45Z) - Network Calculus with Flow Prolongation -- A Feedforward FIFO Analysis
enabled by ML [73.11023209243326]
Flow Prolongation (FP) は遅延境界精度を大幅に改善することが示されている。
本稿では,機械学習を用いて拡張を予測することによって,FPをスケールするアプローチであるDeepFPを紹介する。
DeepFPは計算コストを無視して平均12.1%削減する。
論文 参考訳（メタデータ） (2022-02-07T08:46:47Z) - Decoupled Dynamic Filter Networks [85.38058820176047]
これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。
最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。
分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
論文 参考訳（メタデータ） (2021-04-29T04:55:33Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳（メタデータ） (2020-10-28T15:26:40Z) - Softer Pruning, Incremental Regularization [12.190136491373359]
ソフト・フィルタ・プルーニング (SFP) 法は、次の訓練の時期において、トレーニング中のプルーニングフィルタをゼロにし、それらを更新する。
訓練されたプルーニングフィルタを利用するために、SofteR Filter Pruning (S RFP)法とその変種であるAsymptotic SofteR Filter Pruning (AS RFP)法を提案した。
提案手法は, 各種ネットワーク, データセット, プルーニングレートで良好に動作し, 重み付きプルーニングにも適用可能である。
論文 参考訳（メタデータ） (2020-10-19T13:37:19Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。