論文の概要: Sparse Training via Boosting Pruning Plasticity with Neuroregeneration
- arxiv url: http://arxiv.org/abs/2106.10404v1
- Date: Sat, 19 Jun 2021 02:09:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 15:50:38.646641
- Title: Sparse Training via Boosting Pruning Plasticity with Neuroregeneration
- Title（参考訳）: 神経再生による弾塑性強化によるスパーストレーニング
- Authors: Shiwei Liu, Tianlong Chen, Xiaohan Chen, Zahra Atashgahi, Lu Yin,
Huanyu Kou, Li Shen, Mykola Pechenizkiy, Zhangyang Wang, Decebal Constantin
Mocanu
- Abstract要約: 本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。
ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。
おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
- 参考スコア（独自算出の注目度）: 79.78184026678659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Works on lottery ticket hypothesis (LTH) and single-shot network pruning
(SNIP) have raised a lot of attention currently on post-training pruning
(iterative magnitude pruning), and before-training pruning (pruning at
initialization). The former method suffers from an extremely large computation
cost and the latter category of methods usually struggles with insufficient
performance. In comparison, during-training pruning, a class of pruning methods
that simultaneously enjoys the training/inference efficiency and the comparable
performance, temporarily, has been less explored. To better understand
during-training pruning, we quantitatively study the effect of pruning
throughout training from the perspective of pruning plasticity (the ability of
the pruned networks to recover the original performance). Pruning plasticity
can help explain several other empirical observations about neural network
pruning in literature. We further find that pruning plasticity can be
substantially improved by injecting a brain-inspired mechanism called
neuroregeneration, i.e., to regenerate the same number of connections as
pruned. Based on the insights from pruning plasticity, we design a novel
gradual magnitude pruning (GMP) method, named gradual pruning with zero-cost
neuroregeneration (GraNet), and its dynamic sparse training (DST) variant
(GraNet-ST). Both of them advance state of the art. Perhaps most impressively,
the latter for the first time boosts the sparse-to-sparse training performance
over various dense-to-sparse methods by a large margin with ResNet-50 on
ImageNet. We will release all codes.
- Abstract（参考訳）: 抽選チケット仮説 (LTH) とシングルショットネットワークプルーニング (SNIP) の研究は、現在、訓練後プルーニング (劇的等級プルーニング) と事前トレーニングプルーニング (初期化時のプルーニング) に多くの注目を集めている。
前者の手法は非常に大きな計算コストに悩まされ、後者の手法は通常性能の不足に悩まされる。
対照的に、トレーニング/推論効率と同等のパフォーマンスを同時に享受するプルーニング手法のクラスである、トレーニング中のプルーニングは、あまり研究されていない。
学習中の刈り込みの理解を深めるために,刈り込み可塑性(刈り取りネットワークが元の性能を回復する能力)の観点から,訓練中の刈り込みの効果を定量的に検討した。
刈り取り可塑性は、文献におけるニューラルネットワークの刈り取りに関する他の経験的な観察を説明するのに役立つ。
さらに、神経再生と呼ばれる脳に誘発されるメカニズムを注入することで、刈り込みの可塑性を著しく改善し、刈り込みと同じ数の接続を再生する。
プラニングの可塑性から得られた知見に基づき, 段階的プルーニング法(gmp法, gradual pruning with zero-cost neuroregeneration (granet), dynamic sparse training (dst) variant (granet-st) を設計した。
どちらも最先端の芸術である。
おそらく最も印象的なのは、imagenetのresnet-50で、sparse-to-sparseメソッドよりもsparse-to-sparseトレーニングパフォーマンスが大幅に向上したことだ。
すべてのコードをリリースします。
関連論文リスト
- Learning effective pruning at initialization from iterative pruning [15.842658282636876]
本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。
提案手法は, 既存手法よりも高スパース性設定で優れる。
ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-27T03:17:52Z) - DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。
学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。
創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
論文 参考訳（メタデータ） (2024-04-01T20:44:28Z) - Learning a Consensus Sub-Network with Polarization Regularization and
One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。
本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。
CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:37:17Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳（メタデータ） (2023-01-01T03:10:45Z) - Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。
TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。
多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2022-07-25T21:15:47Z) - Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep
Neural Network, a Survey [69.3939291118954]
最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。
モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。
この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
論文 参考訳（メタデータ） (2022-05-17T05:37:08Z) - When to Prune? A Policy towards Early Structural Pruning [27.91996628143805]
我々は,パフォーマンスを損なうことなく,できるだけ早期に訓練を行う政策を提案する。
我々の方法では、最先端のプルーニングに比べて1.4%の精度でトップ1の精度が向上し、GPUのトレーニングコストを2.4%削減する。
論文 参考訳（メタデータ） (2021-10-22T18:39:22Z) - Progressive Skeletonization: Trimming more fat from a network at
initialization [76.11947969140608]
本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。
次に、目的を最大化する2つの近似手順を提案する。
提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-06-16T11:32:47Z) - Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。
ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文 参考訳（メタデータ） (2020-02-19T17:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。