論文の概要: The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training

• arxiv url: http://arxiv.org/abs/2202.02643v1
• Date: Sat, 5 Feb 2022 21:19:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 13:41:51.054553
• Title: The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training
• Title（参考訳）: ランダムプルーニングの理不尽な有効性--スパーストレーニングにおける最もナイーブなベースラインの返却
• Authors: Shiwei Liu, Tianlong Chen, Xiaohan Chen, Li Shen, Decebal Constantin Mocanu, Zhangyang Wang, Mykola Pechenizkiy
• Abstract要約: ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 111.15069968583042
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Random pruning is arguably the most naive way to attain sparsity in neural networks, but has been deemed uncompetitive by either post-training pruning or sparse training. In this paper, we focus on sparse training and highlight a perhaps counter-intuitive finding, that random pruning at initialization can be quite powerful for the sparse training of modern neural networks. Without any delicate pruning criteria or carefully pursued sparsity structures, we empirically demonstrate that sparsely training a randomly pruned network from scratch can match the performance of its dense equivalent. There are two key factors that contribute to this revival: (i) the network sizes matter: as the original dense networks grow wider and deeper, the performance of training a randomly pruned sparse network will quickly grow to matching that of its dense equivalent, even at high sparsity ratios; (ii) appropriate layer-wise sparsity ratios can be pre-chosen for sparse training, which shows to be another important performance booster. Simple as it looks, a randomly pruned subnetwork of Wide ResNet-50 can be sparsely trained to outperforming a dense Wide ResNet-50, on ImageNet. We also observed such randomly pruned networks outperform dense counterparts in other favorable aspects, such as out-of-distribution detection, uncertainty estimation, and adversarial robustness. Overall, our results strongly suggest there is larger-than-expected room for sparse training at scale, and the benefits of sparsity might be more universal beyond carefully designed pruning. Our source code can be found at https://github.com/VITA-Group/Random_Pruning.
• Abstract（参考訳）: ランダムな刈り取りは、おそらくニューラルネットワークのスパース性を達成するための最もナイーブな方法であるが、トレーニング後の刈り取りやスパーストレーニングでは競合的ではないとみなされている。 本稿では,最近のニューラルネットワークのスパーストレーニングにおいて,初期化時のランダムなプルーニングが極めて強力であることを示す,おそらく直観に反する発見を強調する。 微妙な刈り取り基準や注意深く追求されたスパルシティ構造がなければ、スクラッチからランダムに刈り取られたネットワークをまばらに訓練することで、その密集した同等のパフォーマンスにマッチできることを実証的に実証する。 この復興に寄与する要因は2つある。 (i)ネットワークのサイズは重要であり、元の高密度ネットワークがより広く深まるにつれて、ランダムに刈り取られたスパースネットワークの訓練性能は、高いスパース率でも、その密集した等価ネットワークのそれとすぐに一致するようになる。 (II) スパーストレーニングでは, 適切な層幅比をプレチョンとし, また重要な性能向上効果を示す。 一見すると、Wide ResNet-50のランダムに刈り取られたサブネットワークは、ImageNet上で高密度のWide ResNet-50を上回るようにわずかに訓練することができる。 また, ランダムに切断されたネットワークは, 分布外検出, 不確実性推定, 対向ロバスト性など, その他の有利な面で高い性能を示した。 全体として,本研究の結果は,大規模でスパーストレーニングを行う余地が予想以上に大きいことを強く示唆しており,スパルサリティの利点は,慎重に設計した刈り取りよりも普遍的である可能性がある。 ソースコードはhttps://github.com/VITA-Group/Random_Pruning.orgにある。

関連論文リスト

• Random Search as a Baseline for Sparse Neural Network Architecture Search [0.0]
  スパースニューラルネットワークは、高いパラメータ効率を保ちながら、密度の高いニューラルネットワークと同じような、あるいはより良い性能を示している。 これは、高性能なスパースネットワークを学習したり、検索したりするための多くの研究の動機となった。 本稿では,適切なスパース構成を求めるためのベースラインアルゴリズムとしてランダム検索を提案し,その性能について検討する。 本研究では,このスパースアーキテクチャ探索タスクにおいて,ランダムサーチによって発見されたスパースネットワークは,ランダムサーチよりも効率よくも効率良くも収束もできないことを観察する。
  論文  参考訳（メタデータ） (2024-03-13T05:32:13Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Why Random Pruning Is All We Need to Start Sparse [7.648170881733381]
  ランダムマスクは驚くほど効果的なスパースニューラルネットワークモデルを定義する。 スパサーネットワークは、密集したアーキテクチャや最先端の宝くじ改札アルゴリズムと競合できることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:34:04Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• How much pre-training is enough to discover a good subnetwork? [10.699603774240853]
  刈り取られたネットワークが正常に動作するために必要となる高密度ネットワーク事前学習の量を数学的に解析する。 2層全接続ネットワーク上での勾配降下事前学習の回数の単純な理論的境界を求める。 より大きなデータセットでの実験では、プルーニングによって得られた事前トレーニングのフォアワークがうまく機能するために必要になる。
  論文  参考訳（メタデータ） (2021-07-31T15:08:36Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough [19.19644194006565]
  精度低下の許容範囲が指定されたニューラルネットワークのプルーク数を示す。 提案手法は,プルーンドネットワークと元のネットワークとの差が指数関数的に速い速度で減衰することを保証している。 本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。
  論文  参考訳（メタデータ） (2020-10-29T22:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。