論文の概要: To Filter Prune, or to Layer Prune, That Is The Question
- arxiv url: http://arxiv.org/abs/2007.05667v3
- Date: Sun, 8 Nov 2020 17:48:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 13:37:35.999730
- Title: To Filter Prune, or to Layer Prune, That Is The Question
- Title（参考訳）: Pruneをフィルタするか、Pruneを階層化する
- Authors: Sara Elkerdawy, Mostafa Elhoushi, Abhineet Singh, Hong Zhang and
Nilanjan Ray
- Abstract要約: 遅延低減の観点からフィルタプルーニング手法の限界を示す。
同様の精度でフィルタプルーニング法よりも高い遅延低減を実現するための,異なる基準に基づくレイヤプルーニング法を提案する。
LayerPruneはまた、ImageNetデータセットの同様の遅延予算に対して、Shufflenet、MobileNet、MNASNet、ResNet18などの手作りアーキテクチャを7.3%、4.6%、2.8%、0.5%で上回っている。
- 参考スコア（独自算出の注目度）: 13.450136532402226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in pruning of neural networks have made it possible to remove
a large number of filters or weights without any perceptible drop in accuracy.
The number of parameters and that of FLOPs are usually the reported metrics to
measure the quality of the pruned models. However, the gain in speed for these
pruned models is often overlooked in the literature due to the complex nature
of latency measurements. In this paper, we show the limitation of filter
pruning methods in terms of latency reduction and propose LayerPrune framework.
LayerPrune presents a set of layer pruning methods based on different criteria
that achieve higher latency reduction than filter pruning methods on similar
accuracy. The advantage of layer pruning over filter pruning in terms of
latency reduction is a result of the fact that the former is not constrained by
the original model's depth and thus allows for a larger range of latency
reduction. For each filter pruning method we examined, we use the same filter
importance criterion to calculate a per-layer importance score in one-shot. We
then prune the least important layers and fine-tune the shallower model which
obtains comparable or better accuracy than its filter-based pruning
counterpart. This one-shot process allows to remove layers from single path
networks like VGG before fine-tuning, unlike in iterative filter pruning, a
minimum number of filters per layer is required to allow for data flow which
constraint the search space. To the best of our knowledge, we are the first to
examine the effect of pruning methods on latency metric instead of FLOPs for
multiple networks, datasets and hardware targets. LayerPrune also outperforms
handcrafted architectures such as Shufflenet, MobileNet, MNASNet and ResNet18
by 7.3%, 4.6%, 2.8% and 0.5% respectively on similar latency budget on ImageNet
dataset.
- Abstract（参考訳）: ニューラルネットワークのプルーニングの最近の進歩により、知覚できる精度の低下なしに、多数のフィルタや重みを除去することが可能になった。
パラメータの数とFLOPは、通常、刈り取られたモデルの品質を測定するために報告される指標である。
しかしながら、これらの刈り取られたモデルの速度の上昇は、遅延測定の複雑な性質のため、文献ではしばしば見過ごされる。
本稿では,遅延低減の観点からフィルタプルーニング手法の限界を示すとともに,LayerPruneフレームワークを提案する。
layerpruneは、同様の精度でフィルタプルーニング法よりも高いレイテンシー低減を達成する、異なる基準に基づく階層プルーニング法の集合を示す。
遅延低減の観点からフィルタプルーニングよりもレイヤプルーニングの利点は、前者が元のモデルの深さに制約されず、より広範囲の遅延低減を可能にするという事実によるものである。
各フィルタの刈り取り法について,同一のフィルタ重要度基準を用いて,単発で各層重要度スコアを算出した。
次に, 最重要層のプルーニングを行い, フィルタベースのプルーニングに比べて, 同等あるいは優れた精度が得られる浅層モデルを微調整する。
このワンショットプロセスでは、微調整前にvggのような単一パスネットワークからレイヤを削除できるが、反復フィルタのプルーニングとは異なり、検索空間を制約するデータフローを可能にするために、レイヤ毎のフィルタの最小数が必要となる。
我々の知る限りでは、複数のネットワーク、データセット、ハードウェアターゲットに対するFLOPではなく、遅延メトリックに対するプルーニング手法の効果を最初に調べる。
layerprune は shufflenet, mobilenet, mnasnet, resnet18 といった手作りアーキテクチャを7.3%, 4.6%, 2.8%, 0.5% で上回っている。
関連論文リスト
- Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳（メタデータ） (2023-07-01T02:28:41Z) - Cut Inner Layers: A Structured Pruning Strategy for Efficient U-Net GANs [2.8360662552057323]
本研究は, 条件付きGANのU-Netジェネレータ上での構造化プルーニングを行う。
層ごとの感度解析により、ボトルネックに近い最内側層に不要なフィルタが多数存在し、実質的に切断可能であることを確認した。
論文 参考訳（メタデータ） (2022-06-29T13:55:36Z) - Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。
Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。
提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
論文 参考訳（メタデータ） (2022-06-16T13:58:58Z) - End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。
提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文 参考訳（メタデータ） (2022-04-15T10:21:05Z) - Pruning Networks with Cross-Layer Ranking & k-Reciprocal Nearest Filters [151.2423480789271]
フィルタレベルのネットワークプルーニングには,CLR-RNFと呼ばれる新しいプルーニング法が提案されている。
我々は,CIFAR-10 と ImageNet で画像分類を行い,CLR-RNF が最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-15T04:53:24Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳（メタデータ） (2020-10-28T15:26:40Z) - Towards Optimal Filter Pruning with Balanced Performance and Pruning
Speed [17.115185960327665]
本稿では,性能とプルーニング速度の両立のために,バランスの取れたフィルタプルーニング法を提案する。
提案手法は, 約層幅の最適プルーニング速度を予め設定した損失変動で再現できる。
提案手法は共通アーキテクチャに適用可能であり,最終微調整以外の追加訓練は行わない。
論文 参考訳（メタデータ） (2020-10-14T06:17:09Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z) - A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。
我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。
提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
論文 参考訳（メタデータ） (2020-01-15T20:38:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。