論文の概要: Sparsity Winning Twice: Better Robust Generalization from More Efficient Training

• arxiv url: http://arxiv.org/abs/2202.09844v2
• Date: Tue, 22 Feb 2022 07:30:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 12:46:31.240357
• Title: Sparsity Winning Twice: Better Robust Generalization from More Efficient Training
• Title（参考訳）: Sparsity Winning Twice: より効率的なトレーニングによるロバストな一般化
• Authors: Tianlong Chen, Zhenyu Zhang, Pengjun Wang, Santosh Balachandra, Haoyu Ma, Zehao Wang, Zhangyang Wang
• Abstract要約: スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
• 参考スコア（独自算出の注目度）: 94.92954973680914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies demonstrate that deep networks, even robustified by the state-of-the-art adversarial training (AT), still suffer from large robust generalization gaps, in addition to the much more expensive training costs than standard training. In this paper, we investigate this intriguing problem from a new perspective, i.e., injecting appropriate forms of sparsity during adversarial training. We introduce two alternatives for sparse adversarial training: (i) static sparsity, by leveraging recent results from the lottery ticket hypothesis to identify critical sparse subnetworks arising from the early training; (ii) dynamic sparsity, by allowing the sparse subnetwork to adaptively adjust its connectivity pattern (while sticking to the same sparsity ratio) throughout training. We find both static and dynamic sparse methods to yield win-win: substantially shrinking the robust generalization gap and alleviating the robust overfitting, meanwhile significantly saving training and inference FLOPs. Extensive experiments validate our proposals with multiple network architectures on diverse datasets, including CIFAR-10/100 and Tiny-ImageNet. For example, our methods reduce robust generalization gap and overfitting by 34.44% and 4.02%, with comparable robust/standard accuracy boosts and 87.83%/87.82% training/inference FLOPs savings on CIFAR-100 with ResNet-18. Besides, our approaches can be organically combined with existing regularizers, establishing new state-of-the-art results in AT. Codes are available in https://github.com/VITA-Group/Sparsity-Win-Robust-Generalization.
• Abstract（参考訳）: 最近の研究では、最先端の敵対的訓練(at)によって強固な深層ネットワークでさえも、標準訓練よりもはるかに高価なトレーニングコストに加えて、大きな強固な一般化ギャップに苦しむことが示されている。 本稿では,この興味深い問題を新たな視点,すなわち,敵訓練中に適切なスパルサシティを注入することから検討する。 sparse adversarial trainingの代替案を2つ紹介する。 (i) 抽選券仮説の最近の結果を利用して、早期訓練から生じる重要なスパースサブネットワークを特定することにより、静的なスパース性。 (ii)動的スパーシティ(dynamic sparsity)は、スパースサブネットワークがトレーニングを通して(同じスパース率に固執しながら)その接続パターンを適応的に調整することを可能にする。 強固な一般化ギャップを実質的に縮小し、強固な過剰フィッティングを緩和する一方で、トレーニングと推論のフラップを大幅に削減する。 CIFAR-10/100 や Tiny-ImageNet など,さまざまなデータセット上での複数のネットワークアーキテクチャによる提案を検証する。 例えば、我々の手法では、34.44%と4.02%の精度向上と87.83%/87.82%のトレーニング/推論 FLOPをCIFAR-100とResNet-18で削減する。 さらに,本手法を既存の正則化器と有機的に組み合わせることで,ATにおける新たな最先端結果が確立される。 コードはhttps://github.com/VITA-Group/Sparsity-Win-Robust-Generalizationで公開されている。

関連論文リスト

• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Data-Efficient Double-Win Lottery Tickets from Robust Pre-training [129.85939347733387]
  本稿では,事前学習したモデルからのサブネットワークを,様々な下流タスクで独立に転送できるDouble-Win Lottery Ticketsを紹介する。 頑健な事前訓練は、標準的なものよりも優れたパフォーマンスで、スペーサーのダブルウィン・宝くじを製作する傾向にある。
  論文  参考訳（メタデータ） (2022-06-09T20:52:50Z)
• Superposing Many Tickets into One: A Performance Booster for Sparse Neural Network Training [32.30355584300427]
  本研究では,2つのデシラタを同時に1つのスパース・ツー・スパース・トレーニング・プロセスで満たすことのできる,新しいスパース・トレーニング・アプローチであるtextbfSup-tkets を提案する。 CIFAR-10/100 および ImageNet 上の様々なモダンアーキテクチャにおいて,Sup-tket が既存のスパーストレーニング手法とシームレスに統合されていることを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:01:32Z)
• Adversarial Training with Stochastic Weight Average [4.633908654744751]
  ディープニューラルネットワークのアドリヤトレーニングは、しばしば深刻なオーバーフィッティング問題を経験する。 従来の機械学習では、データの不足から過度な適合を緩和する1つの方法は、アンサンブルメソッドを使用することである。 本稿では,重み平均(SWA)を用いた対向訓練を提案する。 対人訓練中に,訓練軌跡の時間的重み状態を集計する。
  論文  参考訳（メタデータ） (2020-09-21T04:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。