論文の概要: Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot

• arxiv url: http://arxiv.org/abs/2009.11094v2
• Date: Thu, 22 Oct 2020 13:23:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 21:50:36.302468
• Title: Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot
• Title（参考訳）: Sanity-Checking Pruning Methods:ランダムチケットがジャックポットに勝つ
• Authors: Jingtong Su, Yihang Chen, Tianle Cai, Tianhao Wu, Ruiqi Gao, Liwei Wang, Jason D. Lee
• Abstract要約: 従来のプルーニングアルゴリズムの知恵は、プルーニング手法がトレーニングデータから情報を利用して良い作品を見つけることを示唆している。 本稿では,近年の非構造的刈り取り法について,上記の信念の正当性チェックを行う。 本稿では,各層に対して単純なデータに依存しないプーン比を提案し,サブネットワークを得るために各層をランダムにプーンする。
• 参考スコア（独自算出の注目度）: 55.37967301483917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network pruning is a method for reducing test-time computational resource requirements with minimal performance degradation. Conventional wisdom of pruning algorithms suggests that: (1) Pruning methods exploit information from training data to find good subnetworks; (2) The architecture of the pruned network is crucial for good performance. In this paper, we conduct sanity checks for the above beliefs on several recent unstructured pruning methods and surprisingly find that: (1) A set of methods which aims to find good subnetworks of the randomly-initialized network (which we call "initial tickets"), hardly exploits any information from the training data; (2) For the pruned networks obtained by these methods, randomly changing the preserved weights in each layer, while keeping the total number of preserved weights unchanged per layer, does not affect the final performance. These findings inspire us to choose a series of simple \emph{data-independent} prune ratios for each layer, and randomly prune each layer accordingly to get a subnetwork (which we call "random tickets"). Experimental results show that our zero-shot random tickets outperform or attain a similar performance compared to existing "initial tickets". In addition, we identify one existing pruning method that passes our sanity checks. We hybridize the ratios in our random ticket with this method and propose a new method called "hybrid tickets", which achieves further improvement. (Our code is publicly available at https://github.com/JingtongSu/sanity-checking-pruning)
• Abstract（参考訳）: ネットワークプルーニング(Network pruning)は、最小性能の低下を伴うテスト時間計算リソース要求の低減手法である。 プルーニングアルゴリズムの従来の知見は、(1)プルーニングメソッドはトレーニングデータからの情報を活用して優れたサブネットワークを見つける、(2)プルーニングされたネットワークのアーキテクチャは優れたパフォーマンスに不可欠であることを示唆している。 In this paper, we conduct sanity checks for the above beliefs on several recent unstructured pruning methods and surprisingly find that: (1) A set of methods which aims to find good subnetworks of the randomly-initialized network (which we call "initial tickets"), hardly exploits any information from the training data; (2) For the pruned networks obtained by these methods, randomly changing the preserved weights in each layer, while keeping the total number of preserved weights unchanged per layer, does not affect the final performance. これらの結果から,各層に対して一連の単純な \emph{data-independent} prune ratio を選択し,サブネットワークを得るために各層をランダムにプルーする(ランダムチケットと呼ぶ)。 実験の結果, ゼロショットランダムチケットは, 既存の「初期チケット」と比較して性能が良く, あるいは類似していることがわかった。 さらに,我々の衛生チェックをパスする既存のプルーニング手法を1つ同定する。 本研究では,この手法とランダムチケットの比率をハイブリッド化し,さらに改良した「ハイブリッドチケット」という手法を提案する。 (当社のコードはhttps://github.com/JingtongSu/sanity-checking-pruning)

関連論文リスト

• Exploring the Performance of Pruning Methods in Neural Networks: An Empirical Study of the Lottery Ticket Hypothesis [0.0]
  異なるネットワークアーキテクチャおよびプルーニングシナリオにおけるL1非構造化プルーニング,フィッシャープルーニング,ランダムプルーニングを比較した。 本稿では, バッチ型漁獲法(バッチ型漁獲法)と呼ばれる, 効率的な漁獲量の計算法を提案し, 評価する。
  論文  参考訳（メタデータ） (2023-03-26T21:46:34Z)
• Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
  チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:59:04Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
  本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
  論文  参考訳（メタデータ） (2021-09-14T01:52:05Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Data-dependent Pruning to find the Winning Lottery Ticket [0.0]
  Lottery Ticket仮説は、新しいニューラルネットワークには、完全なネットワークと同じようなパフォーマンスを達成するためにトレーニング可能な、小さなサブネットワークが含まれている、と仮定する。 我々は、データ依存コンポーネントをプルーニング基準に組み込むことで、既存のプルーニングアルゴリズムの性能を一貫して向上させると結論付けた。
  論文  参考訳（メタデータ） (2020-06-25T12:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。