論文の概要: DSA: More Efficient Budgeted Pruning via Differentiable Sparsity
Allocation
- arxiv url: http://arxiv.org/abs/2004.02164v5
- Date: Mon, 20 Jul 2020 15:26:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 11:58:42.876310
- Title: DSA: More Efficient Budgeted Pruning via Differentiable Sparsity
Allocation
- Title(参考訳): DSA: 分散化によるより効率的な予算削減
- Authors: Xuefei Ning, Tianchen Zhao, Wenshuo Li, Peng Lei, Yu Wang, Huazhong
Yang
- Abstract要約: 本稿では,効率的なエンドツーエンドのプルーニングフローであるSparsity Allocation (DSA)を提案する。
DSAは,現行の反復型刈り込み法よりも優れた性能を達成でき,その間に全刈り工程の時間コストを少なくとも1.5倍に短縮できることを示した。
- 参考スコア(独自算出の注目度): 19.786703872356174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Budgeted pruning is the problem of pruning under resource constraints. In
budgeted pruning, how to distribute the resources across layers (i.e., sparsity
allocation) is the key problem. Traditional methods solve it by discretely
searching for the layer-wise pruning ratios, which lacks efficiency. In this
paper, we propose Differentiable Sparsity Allocation (DSA), an efficient
end-to-end budgeted pruning flow. Utilizing a novel differentiable pruning
process, DSA finds the layer-wise pruning ratios with gradient-based
optimization. It allocates sparsity in continuous space, which is more
efficient than methods based on discrete evaluation and search. Furthermore,
DSA could work in a pruning-from-scratch manner, whereas traditional budgeted
pruning methods are applied to pre-trained models. Experimental results on
CIFAR-10 and ImageNet show that DSA could achieve superior performance than
current iterative budgeted pruning methods, and shorten the time cost of the
overall pruning process by at least 1.5x in the meantime.
- Abstract(参考訳): 予算プルーニングは資源制約下でのプルーニングの問題である。
予算化されたプルーニングでは、リソースをレイヤ(すなわちスパーシティアロケーション)に分散させる方法が重要な問題です。
従来の方法では、効率に欠ける層毎の刈り取り比を離散的に探索することで解決する。
本稿では,効率的なエンドツーエンドのプルーニングフローである分散スパシティアロケーション(DSA)を提案する。
新たな微分可能なプルーニングプロセスを用いることで、DSAは勾配に基づく最適化による階層的プルーニング比を求める。
連続空間における空間の空間性は、離散的な評価と探索に基づく手法よりも効率的である。
さらに、DSAはpruning-from-scratch方式で動作し、従来の予算付きプルーニング方式は事前訓練されたモデルに適用される。
CIFAR-10 と ImageNet の実験結果から,DSA は現行の反復型刈り込み法よりも優れた性能を達成でき,その間に全刈り工程の時間コストを少なくとも1.5倍短縮できることがわかった。
関連論文リスト
- A Unified Framework for Soft Threshold Pruning [27.853698217792456]
反復収縮閾値アルゴリズム(ISTA)を用いた暗黙の最適化問題としてソフトしきい値プルーニングを再構成する。
我々は,フレームワークに基づくしきい値スケジューリングの詳細な研究を通じて,最適なしきい値スケジューラを導出する。
原理的には、導出プルーニングアルゴリズムは、SGDで訓練された任意の数学的モデルをスパース化することができる。
論文 参考訳(メタデータ) (2023-02-25T08:16:14Z) - Advancing Model Pruning via Bi-level Optimization [89.88761425199598]
イテレーティブ・マグニチュード・プルーニング(IMP)は,「入賞券」の発見に成功するプルーニング法である
ワンショットプルーニング法が開発されているが、これらのスキームは通常IMPほど勝利のチケットを見つけることができない。
提案手法は,双線形問題構造を持つBLO問題の特別なクラスであることを示す。
論文 参考訳(メタデータ) (2022-10-08T19:19:29Z) - Data-Efficient Structured Pruning via Submodular Optimization [32.574190896543705]
部分モジュラ最適化に基づくデータ効率の高い構造化プルーニング手法を提案する。
この選択問題は弱い部分モジュラー問題であり、効率的なグリードアルゴリズムを用いて証明可能な近似が可能であることを示す。
本手法は,限られた数のトレーニングデータのみを使用し,ラベルを含まない文献の中では数少ない手法の一つである。
論文 参考訳(メタデータ) (2022-03-09T18:40:29Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳(メタデータ) (2022-03-03T03:46:18Z) - Pruning with Compensation: Efficient Channel Pruning for Deep
Convolutional Neural Networks [0.9712140341805068]
刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。
本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
論文 参考訳(メタデータ) (2021-08-31T10:17:36Z) - COPS: Controlled Pruning Before Training Starts [68.8204255655161]
最先端のディープニューラルネットワーク(DNN)プルーニング技術は、トレーニング開始前にワンショットで適用され、プルーニングスコアと呼ばれる単一の基準の助けを借りてスパースアーキテクチャを評価する。
この作業では、単一プルーニング基準に集中するのではなく、任意のGASを組み合わせてより強力なプルーニング戦略を構築するためのフレームワークを提供します。
論文 参考訳(メタデータ) (2021-07-27T08:48:01Z) - Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。
ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。
おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
論文 参考訳(メタデータ) (2021-06-19T02:09:25Z) - LSDAT: Low-Rank and Sparse Decomposition for Decision-based Adversarial
Attack [74.5144793386864]
LSDATは、入力サンプルのスパース成分と対向サンプルのスパース成分によって形成される低次元部分空間における摂動を加工する。
LSDは画像ピクセル領域で直接動作し、スパース性などの非$ell$制約が満たされることを保証します。
論文 参考訳(メタデータ) (2021-03-19T13:10:47Z) - Towards Optimal Filter Pruning with Balanced Performance and Pruning
Speed [17.115185960327665]
本稿では,性能とプルーニング速度の両立のために,バランスの取れたフィルタプルーニング法を提案する。
提案手法は, 約層幅の最適プルーニング速度を予め設定した損失変動で再現できる。
提案手法は共通アーキテクチャに適用可能であり,最終微調整以外の追加訓練は行わない。
論文 参考訳(メタデータ) (2020-10-14T06:17:09Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。