論文の概要: Activation Density driven Energy-Efficient Pruning in Training
- arxiv url: http://arxiv.org/abs/2002.02949v2
- Date: Mon, 12 Oct 2020 12:16:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 03:26:05.700892
- Title: Activation Density driven Energy-Efficient Pruning in Training
- Title（参考訳）: トレーニングにおける活性化密度駆動型エネルギー効率プルーニング
- Authors: Timothy Foldy-Porto, Yeshwanth Venkatesha, and Priyadarshini Panda
- Abstract要約: 本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。
ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
- 参考スコア（独自算出の注目度）: 2.222917681321253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network pruning with suitable retraining can yield networks with
considerably fewer parameters than the original with comparable degrees of
accuracy. Typical pruning methods require large, fully trained networks as a
starting point from which they perform a time-intensive iterative pruning and
retraining procedure to regain the original accuracy. We propose a novel
pruning method that prunes a network real-time during training, reducing the
overall training time to achieve an efficient compressed network. We introduce
an activation density based analysis to identify the optimal relative sizing or
compression for each layer of the network. Our method is architecture agnostic,
allowing it to be employed on a wide variety of systems. For VGG-19 and
ResNet18 on CIFAR-10, CIFAR-100, and TinyImageNet, we obtain exceedingly sparse
networks (up to $200 \times$ reduction in parameters and over $60 \times$
reduction in inference compute operations in the best case) with accuracy
comparable to the baseline network. By reducing the network size periodically
during training, we achieve total training times that are shorter than those of
previously proposed pruning methods. Furthermore, training compressed networks
at different epochs with our proposed method yields considerable reduction in
training compute complexity ($1.6\times$ to $3.2\times$ lower) at near
iso-accuracy as compared to a baseline network trained entirely from scratch.
- Abstract（参考訳）: 適切なリトレーニングを施したニューラルネットワークプルーニングは、元のものと同等の精度のパラメータがかなり少ないネットワークが得られる。
典型的なプルーニング法は、時間集約的な反復プルーニングと再訓練を行い、元の精度を取り戻すための出発点として、大規模で完全に訓練されたネットワークを必要とする。
本稿では,トレーニング中にネットワークをリアルタイムにプーンし,トレーニング時間を短縮し,効率的な圧縮ネットワークを実現する新しいプルーニング手法を提案する。
ネットワークの各層に対して最適な相対サイズまたは圧縮を特定するために,アクティベーション密度に基づく解析を導入する。
提案手法はアーキテクチャに依存せず,多種多様なシステムで利用可能である。
CIFAR-10, CIFAR-100, TinyImageNet 上の VGG-19 および ResNet18 に対し, ベースラインネットワークに匹敵する精度で, 疎ネットワーク(パラメータの200 \times$ と推論演算の60 \times$ の削減)を得る。
トレーニング中にネットワークサイズを定期的に小さくすることで,従来提案していたプルーニング法よりも短いトレーニング時間を実現する。
さらに,提案手法により異なるエポックでの圧縮ネットワークのトレーニングは,スクラッチからトレーニングしたベースラインネットワークと比較して,ほぼ等精度で,トレーニング計算複雑性(1.6\times$から3.2\times$low)を大幅に低減する。
関連論文リスト
- DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。
学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。
創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
論文 参考訳（メタデータ） (2024-04-01T20:44:28Z) - Learning a Consensus Sub-Network with Polarization Regularization and
One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。
本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。
CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:37:17Z) - Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。
本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。
我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
論文 参考訳（メタデータ） (2022-06-26T00:37:33Z) - Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep
Neural Network, a Survey [69.3939291118954]
最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。
モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。
この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
論文 参考訳（メタデータ） (2022-05-17T05:37:08Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。
我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
論文 参考訳（メタデータ） (2020-07-01T23:34:35Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z) - Pruning Filters while Training for Efficiently Optimizing Deep Learning
Networks [6.269700080380206]
深層ネットワークの重みを少なくするプルーニング技術が提案されている。
本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。
その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
論文 参考訳（メタデータ） (2020-03-05T18:05:17Z) - Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。
そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。
本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-02-23T17:56:18Z) - Picking Winning Tickets Before Training by Preserving Gradient Flow [9.67608102763644]
効率的なトレーニングには,ネットワーク内の勾配流の保存が必要である,と我々は主張する。
CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNetにおいて, 提案手法の有効性を実験的に検討した。
論文 参考訳（メタデータ） (2020-02-18T05:14:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。