論文の概要: Towards Practical Lottery Ticket Hypothesis for Adversarial Training

• arxiv url: http://arxiv.org/abs/2003.05733v1
• Date: Fri, 6 Mar 2020 03:11:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 00:53:24.547144
• Title: Towards Practical Lottery Ticket Hypothesis for Adversarial Training
• Title（参考訳）: 逆行訓練のための実践的ロテリ・チケット仮説に向けて
• Authors: Bai Li, Shiqi Wang, Yunhan Jia, Yantao Lu, Zhenyu Zhong, Lawrence Carin, Suman Jana
• Abstract要約: トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
• 参考スコア（独自算出の注目度）: 78.30684998080346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has proposed the lottery ticket hypothesis, suggesting that for a deep neural network, there exist trainable sub-networks performing equally or better than the original model with commensurate training steps. While this discovery is insightful, finding proper sub-networks requires iterative training and pruning. The high cost incurred limits the applications of the lottery ticket hypothesis. We show there exists a subset of the aforementioned sub-networks that converge significantly faster during the training process and thus can mitigate the cost issue. We conduct extensive experiments to show such sub-networks consistently exist across various model structures for a restrictive setting of hyperparameters ($e.g.$, carefully selected learning rate, pruning ratio, and model capacity). As a practical application of our findings, we demonstrate that such sub-networks can help in cutting down the total time of adversarial training, a standard approach to improve robustness, by up to 49\% on CIFAR-10 to achieve the state-of-the-art robustness.
• Abstract（参考訳）: 近年の研究では、宝くじチケット仮説が提案されており、ディープニューラルネットワークでは、訓練可能なサブネットワークが元のモデルよりも等しく優れた性能を発揮することが示唆されている。 この発見は洞察に富んでいるが、適切なサブネットワークを見つけるには反復的なトレーニングとプルーニングが必要である。 高いコストがかかると、抽選券仮説の適用が制限される。 トレーニングプロセス中にかなり早く収束し,コスト問題を軽減できる,前述のサブネットワークのサブセットが存在することを示す。 このようなサブネットワークは、ハイパーパラメータの制限的な設定(例えば、慎重に選択された学習率、プルーニング比、モデルキャパシティ)のために、様々なモデル構造に一貫して存在することを示す広範な実験を行う。 本研究の実践的応用として,CIFAR-10上での強靭性向上のための標準的なアプローチである,対人訓練の総時間を最大49倍に削減し,最先端の強靭性を実現する上で,このようなサブネットワークが有効であることを示す。

関連論文リスト

• Efficient Stagewise Pretraining via Progressive Subnetworks [53.00045381931778]
  一般的な見方では、レイヤのドロップのような段階的なドロップ戦略は、スタック方式のアプローチと比べて効果がない。 本稿では, 適切な設計で, 戦略の廃止は, 積み重ね手法よりも競争力があることを示すことによって, この概念に挑戦する。 本稿では,各ステップでランダムサブネットワークのみを選択し,訓練し,段階的に拡大するランダムパートトレーニング(RAPTR)を提案する。
  論文  参考訳（メタデータ） (2024-02-08T18:49:09Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Data-Efficient Double-Win Lottery Tickets from Robust Pre-training [129.85939347733387]
  本稿では,事前学習したモデルからのサブネットワークを,様々な下流タスクで独立に転送できるDouble-Win Lottery Ticketsを紹介する。 頑健な事前訓練は、標準的なものよりも優れたパフォーマンスで、スペーサーのダブルウィン・宝くじを製作する傾向にある。
  論文  参考訳（メタデータ） (2022-06-09T20:52:50Z)
• Superposing Many Tickets into One: A Performance Booster for Sparse Neural Network Training [32.30355584300427]
  本研究では,2つのデシラタを同時に1つのスパース・ツー・スパース・トレーニング・プロセスで満たすことのできる,新しいスパース・トレーニング・アプローチであるtextbfSup-tkets を提案する。 CIFAR-10/100 および ImageNet 上の様々なモダンアーキテクチャにおいて,Sup-tket が既存のスパーストレーニング手法とシームレスに統合されていることを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:01:32Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Juvenile state hypothesis: What we can learn from lottery ticket hypothesis researches? [1.701869491238765]
  オリジナルの抽選チケット仮説は、トレーニング収束後のプルーニングとウェイトリセットを実行する。 本稿では,ニューラルネットワーク構造探索とプルーニングアルゴリズムを併用してこの問題を緩和する戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:22:00Z)
• How much pre-training is enough to discover a good subnetwork? [10.699603774240853]
  刈り取られたネットワークが正常に動作するために必要となる高密度ネットワーク事前学習の量を数学的に解析する。 2層全接続ネットワーク上での勾配降下事前学習の回数の単純な理論的境界を求める。 より大きなデータセットでの実験では、プルーニングによって得られた事前トレーニングのフォアワークがうまく機能するために必要になる。
  論文  参考訳（メタデータ） (2021-07-31T15:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。