論文の概要: Data-Efficient Double-Win Lottery Tickets from Robust Pre-training

• arxiv url: http://arxiv.org/abs/2206.04762v1
• Date: Thu, 9 Jun 2022 20:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:33:28.849206
• Title: Data-Efficient Double-Win Lottery Tickets from Robust Pre-training
• Title（参考訳）: ロバストプリトレーニングによるデータ効率2勝抽選券
• Authors: Tianlong Chen, Zhenyu Zhang, Sijia Liu, Yang Zhang, Shiyu Chang, Zhangyang Wang
• Abstract要約: 本稿では,事前学習したモデルからのサブネットワークを,様々な下流タスクで独立に転送できるDouble-Win Lottery Ticketsを紹介する。 頑健な事前訓練は、標準的なものよりも優れたパフォーマンスで、スペーサーのダブルウィン・宝くじを製作する傾向にある。
• 参考スコア（独自算出の注目度）: 129.85939347733387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training serves as a broadly adopted starting point for transfer learning on various downstream tasks. Recent investigations of lottery tickets hypothesis (LTH) demonstrate such enormous pre-trained models can be replaced by extremely sparse subnetworks (a.k.a. matching subnetworks) without sacrificing transferability. However, practical security-crucial applications usually pose more challenging requirements beyond standard transfer, which also demand these subnetworks to overcome adversarial vulnerability. In this paper, we formulate a more rigorous concept, Double-Win Lottery Tickets, in which a located subnetwork from a pre-trained model can be independently transferred on diverse downstream tasks, to reach BOTH the same standard and robust generalization, under BOTH standard and adversarial training regimes, as the full pre-trained model can do. We comprehensively examine various pre-training mechanisms and find that robust pre-training tends to craft sparser double-win lottery tickets with superior performance over the standard counterparts. For example, on downstream CIFAR-10/100 datasets, we identify double-win matching subnetworks with the standard, fast adversarial, and adversarial pre-training from ImageNet, at 89.26%/73.79%, 89.26%/79.03%, and 91.41%/83.22% sparsity, respectively. Furthermore, we observe the obtained double-win lottery tickets can be more data-efficient to transfer, under practical data-limited (e.g., 1% and 10%) downstream schemes. Our results show that the benefits from robust pre-training are amplified by the lottery ticket scheme, as well as the data-limited transfer setting. Codes are available at https://github.com/VITA-Group/Double-Win-LTH.
• Abstract（参考訳）: 事前トレーニングは、さまざまな下流タスクにおける転校学習の出発点として広く採用されている。 ロータリーチケット仮説(LTH)の最近の研究は、そのような巨大な事前訓練されたモデルは、転送性を犠牲にすることなく、非常に粗いサブネットワーク(すなわち、マッチングサブネットワークス)に置き換えることができることを示した。 しかし、現実的なセキュリティの厳しいアプリケーションは、通常、標準転送を超えてより困難な要件を課す。 本稿では,事前学習されたモデルから配置されたサブネットワークを,異なる下流タスクで独立に転送し,標準的および敵対的訓練体制下で同じ標準と堅牢な一般化に到達できる,より厳密な概念であるダブルウィン抽選チケットを定式化する。 我々は,様々な事前学習機構を包括的に検討し,ロバストな事前学習が,標準より優れた性能を持つスパルサーダブルウィン抽選券を製作する傾向があることを見出した。 例えば、下流のCIFAR-10/100データセットでは、ImageNetの標準、高速の対角線、対向線事前トレーニングによる二重ウィンマッチングサブネットを89.26%/73.79%、89.26%/79.03%、91.41%/83.22%で識別する。 さらに,実データ限定方式(1%,10%など)の下で,取得したダブルウィン抽選チケットの転送効率が向上することを示した。 以上の結果から,ロバスト事前学習のメリットは,抽選券方式やデータ限定転送方式によって増幅されることがわかった。 コードはhttps://github.com/VITA-Group/Double-Win-LTHで入手できる。

関連論文リスト

• Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning [25.310066345466396]
  Transfer Learningは、ソースタスクとリッチデータで事前訓練されたディープニューラルネットワーク(DNN)の機能表現を活用して、下流タスクの微調整を強化する。 我々は,ロバストなチケットがより優れた転送を可能にすること,すなわち,適切に誘導された敵のロバスト性によって引き起こされたワークが,バニラ宝くじよりも優れた転送性を得ることができることの発見を活用する新しい転送学習パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-24T05:44:42Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models [115.49214555402567]
  事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
  論文  参考訳（メタデータ） (2020-12-12T21:53:55Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。