論文の概要: When Layers Play the Lottery, all Tickets Win at Initialization
- arxiv url: http://arxiv.org/abs/2301.10835v2
- Date: Tue, 19 Mar 2024 14:08:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 01:51:05.851336
- Title: When Layers Play the Lottery, all Tickets Win at Initialization
- Title（参考訳）: レイヤーがロタリーを再生すると、全てのチケットが初期化に勝つ
- Authors: Artur Jordao, George Correa de Araujo, Helena de Almeida Maia, Helio Pedrini,
- Abstract要約: プルーニングはディープネットワークの計算コストを削減する手法である。
そこで本研究では,プルーニング処理によって層が取り除かれた場合の当選チケットの発見を提案する。
優勝チケットは特にトレーニングフェーズをスピードアップし、二酸化炭素排出量の最大51%を削減しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pruning is a standard technique for reducing the computational cost of deep networks. Many advances in pruning leverage concepts from the Lottery Ticket Hypothesis (LTH). LTH reveals that inside a trained dense network exists sparse subnetworks (tickets) able to achieve similar accuracy (i.e., win the lottery - winning tickets). Pruning at initialization focuses on finding winning tickets without training a dense network. Studies on these concepts share the trend that subnetworks come from weight or filter pruning. In this work, we investigate LTH and pruning at initialization from the lens of layer pruning. First, we confirm the existence of winning tickets when the pruning process removes layers. Leveraged by this observation, we propose to discover these winning tickets at initialization, eliminating the requirement of heavy computational resources for training the initial (over-parameterized) dense network. Extensive experiments show that our winning tickets notably speed up the training phase and reduce up to 51% of carbon emission, an important step towards democratization and green Artificial Intelligence. Beyond computational benefits, our winning tickets exhibit robustness against adversarial and out-of-distribution examples. Finally, we show that our subnetworks easily win the lottery at initialization while tickets from filter removal (the standard structured LTH) hardly become winning tickets.
- Abstract（参考訳）: プルーニングはディープネットワークの計算コストを削減するための標準的な手法である。
プルーニングにおける多くの進歩は、LTH(Lottery Ticket hypothesis)の概念を活用している。
LTHは、訓練された密集ネットワークの内部に、同様の精度(すなわち、宝くじに勝つ)を達成できるスパースサブネットワーク(チケット)が存在することを明らかにしている。
初期化時のプルーニングは、密集したネットワークを訓練せずに勝利のチケットを見つけることに焦点を当てている。
これらの概念の研究は、サブネットワークが重み付けやフィルタープルーニングから生まれる傾向を共有している。
本研究では,層状プルーニングのレンズからの初期化におけるLTHおよびプルーニングについて検討する。
まず,切り抜き処理によって層が取り除かれた場合の当選チケットの存在を確認した。
そこで本研究では,初期化時の入賞チケットの発見を提案し,初期(過パラメータ化)高密度ネットワークをトレーニングするための重い計算資源の必要性を排除した。
大規模な実験では、優勝チケットが特にトレーニングフェーズをスピードアップし、最大51%の二酸化炭素排出量を削減していることが示されています。
優勝チケットは、計算上の利点以外にも、敵意やアウト・オブ・ディストリビューションの例に対して堅牢性を示す。
最後に,フィルタ除去チケット(標準構造LTH)が当選チケットとなるのがほとんどなく,初期化時にサブネットワークが抽選に容易に勝ることを示す。
関連論文リスト
- Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets [127.56361320894861]
ロッテリーチケット仮説 (LTH) は、密集したモデルには厳密なスパースワーク(すなわち当選チケット)が含まれており、完全な正確性に合わせるために単独で訓練できることを示した。
本稿では,構造的にスパースな入賞券が一般に有効に発見できるという,最初の肯定的な結果を示す。
具体的には、まず、重要と考えられるいくつかのチャネルで「再充填」された要素を返却し、次に非ゼロ要素を「再群」して、柔軟なグループ単位の構造パターンを作成します。
論文 参考訳（メタデータ） (2022-02-09T21:33:51Z) - Juvenile state hypothesis: What we can learn from lottery ticket
hypothesis researches? [1.701869491238765]
オリジナルの抽選チケット仮説は、トレーニング収束後のプルーニングとウェイトリセットを実行する。
本稿では,ニューラルネットワーク構造探索とプルーニングアルゴリズムを併用してこの問題を緩和する戦略を提案する。
論文 参考訳（メタデータ） (2021-09-08T18:22:00Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - Towards Understanding Iterative Magnitude Pruning: Why Lottery Tickets
Win [20.97456178983006]
宝くじの仮説では、スパースワークはランダムに密集したネットワークに存在し、密集したネットワークと同じ精度でトレーニングすることができる。
線形モード接続に関して安定なトレーニング手法を用いることで、大規模なネットワークを初期化に完全に巻き戻すことができることを示す。
論文 参考訳（メタデータ） (2021-06-13T10:06:06Z) - The Elastic Lottery Ticket Hypothesis [106.79387235014379]
Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。
そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。
我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
論文 参考訳（メタデータ） (2021-03-30T17:53:45Z) - Good Students Play Big Lottery Better [84.6111281091602]
宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。
近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。
本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
論文 参考訳（メタデータ） (2021-01-08T23:33:53Z) - Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。
また、異なる生成モデル間での当選チケットの転送可能性を示す。
論文 参考訳（メタデータ） (2020-10-05T21:45:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。