論文の概要: SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via
Jointly Architecture Searching and Parameter Pruning
- arxiv url: http://arxiv.org/abs/2207.03677v1
- Date: Fri, 8 Jul 2022 03:44:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 13:35:24.863290
- Title: SuperTickets: Drawing Task-Agnostic Lottery Tickets from Supernets via
Jointly Architecture Searching and Parameter Pruning
- Title（参考訳）: supertickets: アーキテクチャ検索とパラメータプルーニングによるスーパーネットからのタスクに依存しない抽選チケットの描画
- Authors: Haoran You, Baopu Li, Zhanyi Sun, Xu Ouyang, Yingyan Lin
- Abstract要約: 本稿では,効率的なディープニューラルネットワーク(DNN)とその宝くじ(宝くじ)のための2対1のトレーニング手法を提案する。
我々は、従来のスパーストレーニングよりも精度と効率のトレードオフを達成し、プログレッシブで統一されたスーパーチケット識別戦略を開発する。
- 参考スコア（独自算出の注目度）: 35.206651222618675
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural architecture search (NAS) has demonstrated amazing success in
searching for efficient deep neural networks (DNNs) from a given supernet. In
parallel, the lottery ticket hypothesis has shown that DNNs contain small
subnetworks that can be trained from scratch to achieve a comparable or higher
accuracy than original DNNs. As such, it is currently a common practice to
develop efficient DNNs via a pipeline of first search and then prune.
Nevertheless, doing so often requires a search-train-prune-retrain process and
thus prohibitive computational cost. In this paper, we discover for the first
time that both efficient DNNs and their lottery subnetworks (i.e., lottery
tickets) can be directly identified from a supernet, which we term as
SuperTickets, via a two-in-one training scheme with jointly architecture
searching and parameter pruning. Moreover, we develop a progressive and unified
SuperTickets identification strategy that allows the connectivity of
subnetworks to change during supernet training, achieving better accuracy and
efficiency trade-offs than conventional sparse training. Finally, we evaluate
whether such identified SuperTickets drawn from one task can transfer well to
other tasks, validating their potential of handling multiple tasks
simultaneously. Extensive experiments and ablation studies on three tasks and
four benchmark datasets validate that our proposed SuperTickets achieve boosted
accuracy and efficiency trade-offs than both typical NAS and pruning pipelines,
regardless of having retraining or not. Codes and pretrained models are
available at https://github.com/RICE-EIC/SuperTickets.
- Abstract（参考訳）: neural architecture search (nas)は、与えられたスーパーネットから効率的なディープニューラルネットワーク(dnn)を探索することに成功した。
並行して、宝くじの仮説は、DNNには、オリジナルのDNNと同等または高い精度を達成するために、スクラッチからトレーニングできる小さなサブネットが含まれていることを示した。
そのため、第1探索とpruneのパイプラインを通じて効率的なdnnを開発するのが一般的である。
それにもかかわらず、しばしば探索-訓練-訓練-訓練プロセスが必要であり、そのため計算コストは禁じられる。
本稿では,効率的なdnnと宝くじのサブネットワーク(すなわち宝くじ券)をスーパーネットから直接識別できることを,アーキテクチャ探索とパラメータプルーニングを併用した2対1のトレーニングスキームを用いて初めて発見する。
さらに,スーパーネットトレーニング中にサブネットワークの接続性が変化し,従来のスパーストレーニングよりも精度と効率性が向上する,進歩的で統一的なスーパーネット識別戦略を開発した。
最後に,複数のタスクを同時に処理する可能性を検証するために,あるタスクから引き出された識別されたスーパーチップが他のタスクにうまく転送できるかどうかを評価する。
3つのタスクと4つのベンチマークデータセットに関する大規模な実験とアブレーション研究により、提案したSuperTicketsは、再トレーニングの有無にかかわらず、典型的なNASとプルーニングパイプラインの両方よりも精度と効率のトレードオフを向上できることが検証された。
コードと事前訓練されたモデルはhttps://github.com/RICE-EIC/SuperTickets.comで入手できる。
関連論文リスト
- Lottery Ticket Hypothesis for Spiking Neural Networks [9.494176507095176]
Spiking Neural Networks(SNN)は、バイナリスパイクが複数のタイムステップにまたがる情報を伝達する、次世代の低電力ディープニューラルネットワークとして登場した。
より少ない時間ステップから重要なウェイト・コネクティビティを見つける早期時間(ET)チケットを提案する。
実験の結果,提案するETチケットはIMP法やEB法と比較して検索時間を最大38%削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-04T13:02:58Z) - Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask
Training [55.43088293183165]
近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。
本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。
我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
論文 参考訳（メタデータ） (2022-04-24T08:42:47Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - NetAdaptV2: Efficient Neural Architecture Search with Fast Super-Network
Training and Architecture Optimization [15.63765190153914]
NetAdaptV2には、3つのイノベーションがあり、各ステップに費やす時間をバランスさせながら、差別化不可能な検索メトリクスをサポートします。
まず,ネットワーク深度と層幅を1つの検索次元にマージするチャネルレベルのバイパス接続を提案する。
第2に,複数のdnnを単一のフォワードバックパスでトレーニングし,スーパーネットワークのトレーニング時間を短縮するために,順序付きドロップアウトを提案する。
論文 参考訳（メタデータ） (2021-03-31T18:03:46Z) - The Elastic Lottery Ticket Hypothesis [106.79387235014379]
Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。
そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。
我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
論文 参考訳（メタデータ） (2021-03-30T17:53:45Z) - Good Students Play Big Lottery Better [84.6111281091602]
宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。
近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。
本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
論文 参考訳（メタデータ） (2021-01-08T23:33:53Z) - Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。
また、異なる生成モデル間での当選チケットの転送可能性を示す。
論文 参考訳（メタデータ） (2020-10-05T21:45:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。