論文の概要: Learned Threshold Pruning
- arxiv url: http://arxiv.org/abs/2003.00075v2
- Date: Fri, 19 Mar 2021 02:36:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 01:48:30.497883
- Title: Learned Threshold Pruning
- Title（参考訳）: 学習しきい値の刈り取り
- Authors: Kambiz Azarian, Yash Bhalgat, Jinwon Lee and Tijmen Blankevoort
- Abstract要約: 本手法は, 入力として設定された従来の手法とは異なり, 勾配降下による層間しきい値の学習を行う。
ImageNet上のResNet50を9.1ドルでチューニングするには30ドルかかる。
また,EfficientNet,MobileNetV2,MixNetなどのモダンなテキストコンポーネントのアーキテクチャを効果的にチューニングできることも示す。
- 参考スコア（独自算出の注目度）: 15.394473766381518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a novel differentiable method for unstructured weight
pruning of deep neural networks. Our learned-threshold pruning (LTP) method
learns per-layer thresholds via gradient descent, unlike conventional methods
where they are set as input. Making thresholds trainable also makes LTP
computationally efficient, hence scalable to deeper networks. For example, it
takes $30$ epochs for LTP to prune ResNet50 on ImageNet by a factor of $9.1$.
This is in contrast to other methods that search for per-layer thresholds via a
computationally intensive iterative pruning and fine-tuning process.
Additionally, with a novel differentiable $L_0$ regularization, LTP is able to
operate effectively on architectures with batch-normalization. This is
important since $L_1$ and $L_2$ penalties lose their regularizing effect in
networks with batch-normalization. Finally, LTP generates a trail of
progressively sparser networks from which the desired pruned network can be
picked based on sparsity and performance requirements. These features allow LTP
to achieve competitive compression rates on ImageNet networks such as AlexNet
($26.4\times$ compression with $79.1\%$ Top-5 accuracy) and ResNet50
($9.1\times$ compression with $92.0\%$ Top-5 accuracy). We also show that LTP
effectively prunes modern \textit{compact} architectures, such as EfficientNet,
MobileNetV2 and MixNet.
- Abstract（参考訳）: 本稿では,深層ニューラルネットワークの非構造的重み付けのための新しい微分可能手法を提案する。
我々の学習閾値プルーニング(LTP)法は,入力として設定される従来の方法とは異なり,勾配降下により層間閾値を学習する。
しきい値のトレーニングを可能にすることで,LTPの計算効率も向上する。
例えば、LCP が ImageNet 上で ResNet50 を 9.1 ドルでプルークするには、30$ epochs を要します。
これは、計算集約的な反復的プルーニングと微調整プロセスを通じて層ごとのしきい値を求める他の方法とは対照的である。
さらに、新しい微分可能な$L_0$正規化により、LTPはバッチ正規化を伴うアーキテクチャ上で効果的に動作することができる。
バッチ正規化のネットワークでは、$L_1$と$L_2$のペナルティが正規化効果を失うため、これは重要である。
最後に、LTPは、所望の刈り取り網をスパーシネスと性能要求に基づいて選択できる、段階的にスペーサネットワークの軌跡を生成する。
これらの機能により、LCPはイメージネットネットワーク上で競争力のある圧縮速度を達成することができる(AlexNet$26.4\times$圧縮は79.1\%$Top-5の精度で79.1\%)。
また、LTPは、EfficientNet、MobileNetV2、MixNetなどのモダンな \textit{compact} アーキテクチャを効果的に生成することを示す。
関連論文リスト
- End-to-End Neural Network Compression via $\frac{\ell_1}{\ell_2}$
Regularized Latency Surrogates [20.31383698391339]
我々のアルゴリズムは多用途であり、プルーニング、低ランク因数分解、量子化など多くの一般的な圧縮手法で利用することができる。
高速で、シングルモデルトレーニングとほぼ同じ時間で実行される。
論文 参考訳（メタデータ） (2023-06-09T09:57:17Z) - Lightweight and Progressively-Scalable Networks for Semantic
Segmentation [100.63114424262234]
マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。
本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。
我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
論文 参考訳（メタデータ） (2022-07-27T16:00:28Z) - Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。
TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。
多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2022-07-25T21:15:47Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Dep-$L_0$: Improving $L_0$-based Network Sparsification via Dependency
Modeling [6.081082481356211]
L_0$正規化によるディープニューラルネットワークのトレーニングは、ネットワークプルーニングやスパシフィケーションの顕著なアプローチのひとつだ。
本稿では,ImageNet上のResNet50のような大規模学習タスクに対して一貫性のない処理を行うことを示す。
本稿では,多層パーセプトロンとして効果的にモデル化できるバイナリゲートの依存性モデリングを提案する。
論文 参考訳（メタデータ） (2021-06-30T19:33:35Z) - Network Pruning via Resource Reallocation [75.85066435085595]
rEsource rEalLocation (PEEL) を経由したネットワーク・プルーニングという,シンプルで効果的なチャネル・プルーニング手法を提案する。
PEELは、最初に事前に定義されたバックボーンを構築し、その上でリソースの移動を行い、少ない情報層からより重要な層へ1ラウンドでパラメータをシフトする。
実験結果から,PEELによって発見された構造は,各種プルーニング条件下での最先端のプルーニングアルゴリズムと競合する性能を示した。
論文 参考訳（メタデータ） (2021-03-02T16:28:10Z) - Network Automatic Pruning: Start NAP and Take a Nap [94.14675930881366]
我々は,粒度および構造化プルーニングのための統一かつ自動プルーニングフレームワークであるNAPを提案する。
ネットワークの重要でないコンポーネントを見つけ出し、異なるレイヤに対する適切な圧縮比を自動的に決定する。
使いやすさにもかかわらず、NAPは以前のプルーニング法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2021-01-17T07:09:19Z) - Single-path Bit Sharing for Automatic Loss-aware Model Compression [126.98903867768732]
シングルパスビット共有(SBS)は、計算コストを大幅に削減し、有望な性能を達成する。
SBS圧縮MobileNetV2は、Top-1の精度がわずか0.1%低下した22.6倍ビット演算(BOP)を実現する。
論文 参考訳（メタデータ） (2021-01-13T08:28:21Z) - Knapsack Pruning with Inner Distillation [11.04321604965426]
そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。
ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。
提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
論文 参考訳（メタデータ） (2020-02-19T16:04:48Z) - Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。
ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文 参考訳（メタデータ） (2020-02-07T18:34:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。