論文の概要: The Elastic Lottery Ticket Hypothesis

• arxiv url: http://arxiv.org/abs/2103.16547v1
• Date: Tue, 30 Mar 2021 17:53:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 15:17:10.591664
• Title: The Elastic Lottery Ticket Hypothesis
• Title（参考訳）: 弾性 Lottery Ticket仮説
• Authors: Xiaohan Chen, Yu Cheng, Shuohang Wang, Zhe Gan, Jingjing Liu, Zhangyang Wang
• Abstract要約: Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
• 参考スコア（独自算出の注目度）: 106.79387235014379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lottery Ticket Hypothesis raises keen attention to identifying sparse trainable subnetworks or winning tickets, at the initialization (or early stage) of training, which can be trained in isolation to achieve similar or even better performance compared to the full models. Despite many efforts being made, the most effective method to identify such winning tickets is still Iterative Magnitude-based Pruning (IMP), which is computationally expensive and has to be run thoroughly for every different network. A natural question that comes in is: can we "transform" the winning ticket found in one network to another with a different architecture, yielding a winning ticket for the latter at the beginning, without re-doing the expensive IMP? Answering this question is not only practically relevant for efficient "once-for-all" winning ticket finding, but also theoretically appealing for uncovering inherently scalable sparse patterns in networks. We conduct extensive experiments on CIFAR-10 and ImageNet, and propose a variety of strategies to tweak the winning tickets found from different networks of the same model family (e.g., ResNets). Based on these results, we articulate the Elastic Lottery Ticket Hypothesis (E-LTH): by mindfully replicating (or dropping) and re-ordering layers for one network, its corresponding winning ticket could be stretched (or squeezed) into a subnetwork for another deeper (or shallower) network from the same family, whose performance is nearly as competitive as the latter's winning ticket directly found by IMP. We have also thoroughly compared E-LTH with pruning-at-initialization and dynamic sparse training methods, and discuss the generalizability of E-LTH to different model families, layer types, and even across datasets. Our codes are publicly available at https://github.com/VITA-Group/ElasticLTH.
• Abstract（参考訳）: Lottery Ticket hypothesisは、トレーニングの初期(または初期段階)において、未成熟のトレーニング可能なサブネットやチケットを特定することに注意を向ける。 多くの努力にもかかわらず、入賞チケットを特定する最も効果的な方法は、計算コストが高く、異なるネットワークごとに徹底的に実行されなければならない反復的マグニチュードベースのプルーニング(imp)である。 自然な疑問として、あるネットワークにある勝利チケットを別のアーキテクチャで別のネットワークに“変換”して、コストの高いimpをやり直すことなく、最初に後者の勝利チケットを得ることができるか、といったことが挙げられます。 この質問に答えることは、効率的な"すべて"の入賞チケットを見つけることだけでなく、理論上、ネットワーク内の本質的にスケーラブルなスパースパターンを明らかにすることにも意味がある。 我々はCIFAR-10とImageNetの広範な実験を行い、同じモデルファミリーの異なるネットワーク(例えばResNets)から得られる当選チケットを微調整する様々な戦略を提案する。 これらの結果に基づき、我々はElastic Lottery Ticket hypothesis (E-LTH): 一つのネットワークに対してレイヤーを慎重に複製(またはドロップ)し、再注文することで、対応する当選チケットを、IMPが直接見つけるようなパフォーマンスを持つ、同じファミリーのより深い(またはより浅い)ネットワークのサブネットワークに拡張(または圧縮)することができる。 また,E-LTHをpruning-at-initializationおよび動的スパーストレーニング法と徹底的に比較し,モデルファミリ,層タイプ,さらにはデータセット全体に対するE-LTHの一般化可能性について議論した。 私たちのコードはhttps://github.com/VITA-Group/ElasticLTHで公開されています。

関連論文リスト

• Successfully Applying Lottery Ticket Hypothesis to Diffusion Model [15.910383121581065]
  Lottery Ticket仮説は、独立してトレーニングされた場合、元の高密度ニューラルネットワークと競合するパフォーマンスを達成するための勝利チケットが存在すると主張している。 ベンチマーク上で拡散確率モデルをデノベートするための性能を損なうことなく、スパーシティの90%～99%でワークスを実証的に発見する。 本手法では,ストレージの少ないスペーサーサブモデルを見つけることができ,FLOPの数を削減できる。
  論文  参考訳（メタデータ） (2023-10-28T21:09:50Z)
• Iterative Magnitude Pruning as a Renormalisation Group: A Study in The Context of The Lottery Ticket Hypothesis [0.0]
  この論文は、LTH(Lottery Ticket hypothesis)に焦点を当てている。 LTHは、広範なディープニューラルネットワーク(DNN)内では、より小さく、トレーニング可能な「勝利チケット」が、フルモデルに匹敵するパフォーマンスを達成することができると提案している。 LTHにおける重要なプロセスであるイテレーティブ・マグニチュード・プルーニング(IMP)は、最小限の重みを徐々に排除し、DNNにおける段階的な学習をエミュレートする。 言い換えれば、ある特定の問題に対してうまく機能する当選券が、他の同様の問題にも有効であるかどうかを確認する。
  論文  参考訳（メタデータ） (2023-08-06T14:36:57Z)
• When Layers Play the Lottery, all Tickets Win at Initialization [0.0]
  プルーニングはディープネットワークの計算コストを削減する手法である。 そこで本研究では,プルーニング処理によって層が取り除かれた場合の当選チケットの発見を提案する。 優勝チケットは特にトレーニングフェーズをスピードアップし、二酸化炭素排出量の最大51%を削減しています。
  論文  参考訳（メタデータ） (2023-01-25T21:21:15Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets [127.56361320894861]
  ロッテリーチケット仮説 (LTH) は、密集したモデルには厳密なスパースワーク(すなわち当選チケット)が含まれており、完全な正確性に合わせるために単独で訓練できることを示した。 本稿では,構造的にスパースな入賞券が一般に有効に発見できるという,最初の肯定的な結果を示す。 具体的には、まず、重要と考えられるいくつかのチャネルで「再充填」された要素を返却し、次に非ゼロ要素を「再群」して、柔軟なグループ単位の構造パターンを作成します。
  論文  参考訳（メタデータ） (2022-02-09T21:33:51Z)
• Efficient Lottery Ticket Finding: Less Data is More [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。 入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。 本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
  論文  参考訳（メタデータ） (2021-06-06T19:58:17Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
  本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。 また、異なる生成モデル間での当選チケットの転送可能性を示す。
  論文  参考訳（メタデータ） (2020-10-05T21:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。