論文の概要: Cyclical Pruning for Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2202.01290v1
• Date: Wed, 2 Feb 2022 21:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-05 05:26:44.690171
• Title: Cyclical Pruning for Sparse Neural Networks
• Title（参考訳）: スパースニューラルネットワークのサイクルプルーニング
• Authors: Suraj Srinivas, Andrey Kuzmin, Markus Nagel, Mart van Baalen, Andrii Skliar, Tijmen Blankevoort
• Abstract要約: ニューラルネットウェイトを刈り取る現在の方法は、モデルウェイトにマグニチュードベースのプルーニングを反復的に適用し、結果として得られたモデルを再訓練して、失われた精度を回復させる。 このような戦略は、誤って刈り取られた重量の回復を許さないことを示す。 そこで本稿では, 周期的なプルーニングスケジュールを必要とするテキストサイクリックプルーニング(textitcyclical pruning)という簡単な戦略を提案し, 重みを1サイクルで誤ってプルーニングすることで, その後のプルーニングを再現する。
• 参考スコア（独自算出の注目度）: 21.13692106042014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current methods for pruning neural network weights iteratively apply magnitude-based pruning on the model weights and re-train the resulting model to recover lost accuracy. In this work, we show that such strategies do not allow for the recovery of erroneously pruned weights. To enable weight recovery, we propose a simple strategy called \textit{cyclical pruning} which requires the pruning schedule to be periodic and allows for weights pruned erroneously in one cycle to recover in subsequent ones. Experimental results on both linear models and large-scale deep neural networks show that cyclical pruning outperforms existing pruning algorithms, especially at high sparsity ratios. Our approach is easy to tune and can be readily incorporated into existing pruning pipelines to boost performance.
• Abstract（参考訳）: 現在のニューラルネットワーク重み付けの方法は、モデル重み付けにマグニチュードベースのプルーニングを反復的に適用し、結果として得られたモデルを再訓練し、失われた精度を回復する。 本研究では,このような戦略は,不当に刈り取った重みの回復を許さないことを示す。 重み回復を可能にするために, 周期的な平滑化スケジュールが必要であり, 1サイクルで不規則に重みを刈り取ることで, 後続の周期を回復できる, \textit{cyclical pruning} という単純な戦略を提案する。 線形モデルと大規模深層ニューラルネットワークの両方の実験結果は、循環的刈り取りが既存の刈り取りアルゴリズム、特に高いスパース率よりも優れていることを示している。 私たちのアプローチはチューニングが容易で、パフォーマンスを向上させるために既存のpruningパイプラインに簡単に組み込むことができます。

関連論文リスト

• Cyclic Sparse Training: Is it Enough? [17.02564269659367]
  そこで本研究では,任意のスパースマスクの繰り返しサイクルトレーニングと,パラメータとマスクをペアリングする単一プルーニングステップを提案する。 これは、計算コストの削減により、高疎性状態における最先端の反復的プルーニング手法の性能に匹敵する。
  論文  参考訳（メタデータ） (2024-06-04T20:40:27Z)
• To prune or not to prune : A chaos-causality approach to principled pruning of dense neural networks [1.9249287163937978]
  本稿では,誤分類の原因となる因果的重みを特定するために,重み更新と因果性を利用した学習におけるカオス(リャプノフ指数)の概念を紹介する。 このような切断されたネットワークは、元の性能を維持し、機能説明可能性を維持する。
  論文  参考訳（メタデータ） (2023-08-19T09:17:33Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks [0.9712140341805068]
  刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。 本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
  論文  参考訳（メタデータ） (2021-08-31T10:17:36Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Spectral Pruning for Recurrent Neural Networks [0.0]
  リカレントニューラルネットワーク(RNN)のような、リカレントアーキテクチャを備えたニューラルネットワークのプルーニング技術は、エッジコンピューティングデバイスへの応用に強く望まれている。 本稿では、「スペクトルプルーニング」にインスパイアされたRNNに対する適切なプルーニングアルゴリズムを提案し、圧縮されたRNNに対する一般化誤差境界を提供する。
  論文  参考訳（メタデータ） (2021-05-23T00:30:59Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Exploring Weight Importance and Hessian Bias in Model Pruning [55.75546858514194]
  我々は,重要な自然概念に基づいて,刈り取りの原理的探索を行う。 線形モデルの場合、この重要度の概念は、よく知られたヘッセン式プルーニングアルゴリズムに接続するスケーリングによって得られる。 より小さくなったにもかかわらず重みがより重要になるような設定を特定し、その結果、マグニチュードベースプルーニングの破滅的な失敗に繋がる。
  論文  参考訳（メタデータ） (2020-06-19T00:15:55Z)
• Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
  マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。 我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。 実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2020-02-12T05:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。