論文の概要: Pruning Neural Networks at Initialization: Why are We Missing the Mark?

• arxiv url: http://arxiv.org/abs/2009.08576v2
• Date: Sun, 21 Mar 2021 21:38:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 02:07:13.759923
• Title: Pruning Neural Networks at Initialization: Why are We Missing the Mark?
• Title（参考訳）: 初期化時にニューラルネットワークを実行する: なぜマークを欠いているのか?
• Authors: Jonathan Frankle, Gintare Karolina Dziugaite, Daniel M. Roy, Michael Carbin
• Abstract要約: ニューラルネットワークを早期に刈り取るための提案について検討する。 トレーニング後のプルーニングとは異なり、ウェイトをランダムにシャッフルすると正確性が保たれる。 この性質は、根底にある刈り込み、早期に熟成したいという願望、あるいはその両方において幅広い課題を示唆している。
• 参考スコア（独自算出の注目度）: 43.7335598007065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has explored the possibility of pruning neural networks at initialization. We assess proposals for doing so: SNIP (Lee et al., 2019), GraSP (Wang et al., 2020), SynFlow (Tanaka et al., 2020), and magnitude pruning. Although these methods surpass the trivial baseline of random pruning, they remain below the accuracy of magnitude pruning after training, and we endeavor to understand why. We show that, unlike pruning after training, randomly shuffling the weights these methods prune within each layer or sampling new initial values preserves or improves accuracy. As such, the per-weight pruning decisions made by these methods can be replaced by a per-layer choice of the fraction of weights to prune. This property suggests broader challenges with the underlying pruning heuristics, the desire to prune at initialization, or both.
• Abstract（参考訳）: 最近の研究は、初期化時にニューラルネットワークを刈り取る可能性を探っている。 我々は,snip (lee et al., 2019), grab (wang et al., 2020), synflow (tanaka et al., 2020), magnitude pruningという提案を評価した。 これらの方法はランダムな刈り取りの自明なベースラインを超えているが、トレーニング後の刈り取りの精度は低く、その理由を理解するために努力している。 トレーニング後の刈り取りと異なり,各層内でランダムに重み付けを行うか,新たな初期値のサンプリングによって精度が保たれるか,あるいは向上することを示す。 したがって、これらの方法によって決定される1重当たりのプルーニングは、プルーンの重量の分数の層ごとの選択に置き換えることができる。 この性質は、根底にある刈り取りのヒューリスティック、初期化時にプルーンしたいという願望、あるいはその両方に対する幅広い挑戦を示唆する。

関連論文リスト

• Learning effective pruning at initialization from iterative pruning [15.842658282636876]
  本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。 提案手法は, 既存手法よりも高スパース性設定で優れる。 ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-27T03:17:52Z)
• Class-Aware Pruning for Efficient Neural Networks [5.918784236241883]
  ディープニューラルネットワーク(DNN)の実行における計算コスト削減のために、プルーニングが導入されている。 本稿では,DNNを圧縮するクラスアウェアプルーニング手法を提案する。 実験結果から, このクラス認識プルーニング技術は, 重量とFLOPを著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-10T13:07:54Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• What to Prune and What Not to Prune at Initialization [0.0]
  トレーニング後のドロップアウトベースのアプローチは、高いスパシティを実現する。 ネットワークの計算コストのスケーリングに関しては,初期化プルーニングの方が有効だ。 目標は、パフォーマンスを維持しながら、より高い疎性を達成することです。
  論文  参考訳（メタデータ） (2022-09-06T03:48:10Z)
• Why is Pruning at Initialization Immune to Reinitializing and Shuffling? [10.196185472801236]
  近年のプルーニングニューラルネットワーク法の有効性を評価する研究で、驚くべき発見が判明した。 各プルーニング・アット・初期化法では, ランダム化操作により, 未切断重量の分布は最小限に変化した。
  論文  参考訳（メタデータ） (2021-07-05T06:04:56Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Cascade Weight Shedding in Deep Neural Networks: Benefits and Pitfalls for Network Pruning [73.79377854107514]
  カスケード重み付けは,現在ある場合,ランダムプルーニングなどの非最適スキームの性能を著しく向上させることができることを示す。 我々は,gmpの精度向上のためのカスケード重みシェディングの可能性を示し,計算量を削減する。 重み付けと学習段階の巻き戻し手法に光を当て,カスケードの重み付けに結びつく可能性を示し,微調整よりも有利な理由を示した。
  論文  参考訳（メタデータ） (2021-03-19T04:41:40Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot [55.37967301483917]
  従来のプルーニングアルゴリズムの知恵は、プルーニング手法がトレーニングデータから情報を利用して良い作品を見つけることを示唆している。 本稿では,近年の非構造的刈り取り法について,上記の信念の正当性チェックを行う。 本稿では,各層に対して単純なデータに依存しないプーン比を提案し,サブネットワークを得るために各層をランダムにプーンする。
  論文  参考訳（メタデータ） (2020-09-22T17:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。