論文の概要: Efficient Lottery Ticket Finding: Less Data is More

• arxiv url: http://arxiv.org/abs/2106.03225v1
• Date: Sun, 6 Jun 2021 19:58:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:47:00.409082
• Title: Efficient Lottery Ticket Finding: Less Data is More
• Title（参考訳）: 効率的な宝くじ発見:データが少ない方が多い
• Authors: Zhenyu Zhang, Xuxi Chen, Tianlong Chen, Zhangyang Wang
• Abstract要約: Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。 入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。 本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
• 参考スコア（独自算出の注目度）: 87.13642800792077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The lottery ticket hypothesis (LTH) reveals the existence of winning tickets (sparse but critical subnetworks) for dense networks, that can be trained in isolation from random initialization to match the latter's accuracies. However, finding winning tickets requires burdensome computations in the train-prune-retrain process, especially on large-scale datasets (e.g., ImageNet), restricting their practical benefits. This paper explores a new perspective on finding lottery tickets more efficiently, by doing so only with a specially selected subset of data, called Pruning-Aware Critical set (PrAC set), rather than using the full training set. The concept of PrAC set was inspired by the recent observation, that deep networks have samples that are either hard to memorize during training, or easy to forget during pruning. A PrAC set is thus hypothesized to capture those most challenging and informative examples for the dense model. We observe that a high-quality winning ticket can be found with training and pruning the dense network on the very compact PrAC set, which can substantially save training iterations for the ticket finding process. Extensive experiments validate our proposal across diverse datasets and network architectures. Specifically, on CIFAR-10, CIFAR-100, and Tiny ImageNet, we locate effective PrAC sets at 35.32%~78.19% of their training set sizes. On top of them, we can obtain the same competitive winning tickets for the corresponding dense networks, yet saving up to 82.85%~92.77%, 63.54%~74.92%, and 76.14%~86.56% training iterations, respectively. Crucially, we show that a PrAC set found is reusable across different network architectures, which can amortize the extra cost of finding PrAC sets, yielding a practical regime for efficient lottery ticket finding.
• Abstract（参考訳）: 抽選券仮説(LTH)は、密集ネットワークに対する当選券(少ないが重要なサブネット)の存在を明らかにし、後者の精度に合わせるためにランダム初期化から独立して訓練することができる。 しかし、入場券を見つけるには、特に大規模なデータセット(例えばImageNet)において、列車のプルー・リトラクションプロセスにおいて負担のかかる計算が必要となる。 そこで本稿では,Pruning-Aware critical set (PrAC set) と呼ばれる特別な選択されたデータのみを用いて,抽選券の発見を効率化する新たな視点について検討する。 pracセットの概念は、深層ネットワークがトレーニング中に記憶しにくいか、刈り取り時に忘れやすいサンプルを持っているという最近の観測から着想を得ている。 したがって、PrAC集合は、高密度モデルの最も困難で有益な例を捉えることができると仮定される。 我々は,非常にコンパクトなPrACセット上で,高品位な入賞券をトレーニングおよびプルーニングすることで,チケット発見プロセスのトレーニングイテレーションを大幅に短縮することができることを観察した。 広範な実験により、さまざまなデータセットとネットワークアーキテクチャにまたがる提案が検証される。 具体的には、CIFAR-10、CIFAR-100、Tiny ImageNetでは、トレーニングセットサイズの35.32%～78.19%に有効なPrACセットを配置する。 その上、対応する密集したネットワークで同じ競争勝利チケットを入手できますが、82.85%～92.77%、63.54%～74.92%、76.14%～86.56%のトレーニングイテレーションを節約できます。 重要なことは,PrACセットは異なるネットワークアーキテクチャで再利用可能であることを示し,PrACセットの発見に要する余分なコストを減らし,より効率的な宝くじの発見のための実用的な仕組みをもたらす。

関連論文リスト

• Data-Efficient Double-Win Lottery Tickets from Robust Pre-training [129.85939347733387]
  本稿では,事前学習したモデルからのサブネットワークを,様々な下流タスクで独立に転送できるDouble-Win Lottery Ticketsを紹介する。 頑健な事前訓練は、標準的なものよりも優れたパフォーマンスで、スペーサーのダブルウィン・宝くじを製作する傾向にある。
  論文  参考訳（メタデータ） (2022-06-09T20:52:50Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
  マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。 当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
  論文  参考訳（メタデータ） (2021-03-17T00:31:24Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
  トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。