論文の概要: Drawing Early-Bird Tickets: Towards More Efficient Training of Deep Networks

• arxiv url: http://arxiv.org/abs/1909.11957v6
• Date: Mon, 03 Mar 2025 17:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:11:42.178814
• Title: Drawing Early-Bird Tickets: Towards More Efficient Training of Deep Networks
• Title（参考訳）: アーリーバードティケットの描画:ディープネットワークのより効率的なトレーニングを目指して
• Authors: Haoran You, Chaojian Li, Pengfei Xu, Yonggan Fu, Yue Wang, Xiaohan Chen, Richard G. Baraniuk, Zhangyang Wang, Yingyan Celine Lin,
• Abstract要約: アーリーバード(EB)チケットは、非常に初期の訓練段階で識別できる。 本稿では,計算オーバーヘッドの少ないEBチケットを識別するマスク距離メトリックを提案する。
• 参考スコア（独自算出の注目度）: 82.52404247479359
• License:
• Abstract: (Frankle & Carbin, 2019) shows that there exist winning tickets (small but critical subnetworks) for dense, randomly initialized networks, that can be trained alone to achieve comparable accuracies to the latter in a similar number of iterations. However, the identification of these winning tickets still requires the costly train-prune-retrain process, limiting their practical benefits. In this paper, we discover for the first time that the winning tickets can be identified at the very early training stage, which we term as early-bird (EB) tickets, via low-cost training schemes (e.g., early stopping and low-precision training) at large learning rates. Our finding of EB tickets is consistent with recently reported observations that the key connectivity patterns of neural networks emerge early. Furthermore, we propose a mask distance metric that can be used to identify EB tickets with low computational overhead, without needing to know the true winning tickets that emerge after the full training. Finally, we leverage the existence of EB tickets and the proposed mask distance to develop efficient training methods, which are achieved by first identifying EB tickets via low-cost schemes, and then continuing to train merely the EB tickets towards the target accuracy. Experiments based on various deep networks and datasets validate: 1) the existence of EB tickets, and the effectiveness of mask distance in efficiently identifying them; and 2) that the proposed efficient training via EB tickets can achieve up to 4.7x energy savings while maintaining comparable or even better accuracy, demonstrating a promising and easily adopted method for tackling cost-prohibitive deep network training. Code available at https://github.com/RICE-EIC/Early-Bird-Tickets.
• Abstract（参考訳）: (Frankle & Carbin, 2019) は、密集したランダムに初期化されたネットワークに対して、同じ回数の繰り返しで後者と同等の精度を達成するために、単独で訓練できるチケット(小さいが重要なサブネットワーク)が存在することを示している。 しかし、これらの入場券の識別には、その実用的利益を抑えるために、コストのかかる列車の発車再編成プロセスが必要である。 本稿では, 早期学習段階において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期において, 早期学習期(早期学習期) を達成できることを示す。 EBチケットの発見は、ニューラルネットワークの重要な接続パターンが早期に現れるという最近の報告と一致しています。 さらに,完全学習後に出現する真の勝利チケットを知ることなく,計算オーバーヘッドの少ないEBチケットの識別に使用できるマスク距離メトリックを提案する。 最後に,EBチケットの存在と提案したマスク距離を活用して,EBチケットを低コストなスキームで識別し,EBチケットを目標精度に向けて訓練を続けることによって,効率的なトレーニング手法を開発する。 各種ディープネットワークとデータセットに基づく実験 1)EBチケットの存在,及びそれらの効率的な識別におけるマスク距離の効果 2) 提案したEBチケットによる効率的なトレーニングは, コスト抑制深層ネットワークトレーニングにおいて, 同等かそれ以上の精度を維持しつつ, 最大4.7倍の省エネを達成可能である。 コードはhttps://github.com/RICE-EIC/Early-Bird-Ticketsで公開されている。

関連論文リスト

• When Layers Play the Lottery, all Tickets Win at Initialization [0.0]
  プルーニングはディープネットワークの計算コストを削減する手法である。 そこで本研究では,プルーニング処理によって層が取り除かれた場合の当選チケットの発見を提案する。 優勝チケットは特にトレーニングフェーズをスピードアップし、二酸化炭素排出量の最大51%を削減しています。
  論文  参考訳（メタデータ） (2023-01-25T21:21:15Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Efficient Lottery Ticket Finding: Less Data is More [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。 入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。 本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
  論文  参考訳（メタデータ） (2021-06-06T19:58:17Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets [106.79387235014379]
  EarlyBERTは、大規模言語モデルの事前学習と微調整の両方に適用できる一般的な計算効率のトレーニングアルゴリズムである。 BERTトレーニングの初期段階において、構造化された入賞チケットを最初に識別し、効率的なトレーニングに使用します。 EarlyBERTは、トレーニング時間を3545%短縮した標準BERTと同等のパフォーマンスを簡単に達成します。
  論文  参考訳（メタデータ） (2020-12-31T20:38:20Z)
• Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
  本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。 また、異なる生成モデル間での当選チケットの転送可能性を示す。
  論文  参考訳（メタデータ） (2020-10-05T21:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。