論文の概要: Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning

• arxiv url: http://arxiv.org/abs/2003.12862v1
• Date: Sat, 28 Mar 2020 18:28:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 23:38:47.165157
• Title: Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning
• Title（参考訳）: 対人ロバスト性:自己監督型プレトレーニングからファインチューニングへ
• Authors: Tianlong Chen, Sijia Liu, Shiyu Chang, Yu Cheng, Lisa Amini and Zhangyang Wang
• Abstract要約: 対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
• 参考スコア（独自算出の注目度）: 134.15174177472807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained models from self-supervision are prevalently used in fine-tuning downstream tasks faster or for better accuracy. However, gaining robustness from pretraining is left unexplored. We introduce adversarial training into self-supervision, to provide general-purpose robust pre-trained models for the first time. We find these robust pre-trained models can benefit the subsequent fine-tuning in two ways: i) boosting final model robustness; ii) saving the computation cost, if proceeding towards adversarial fine-tuning. We conduct extensive experiments to demonstrate that the proposed framework achieves large performance margins (eg, 3.83% on robust accuracy and 1.3% on standard accuracy, on the CIFAR-10 dataset), compared with the conventional end-to-end adversarial training baseline. Moreover, we find that different self-supervised pre-trained models have a diverse adversarial vulnerability. It inspires us to ensemble several pretraining tasks, which boosts robustness more. Our ensemble strategy contributes to a further improvement of 3.59% on robust accuracy, while maintaining a slightly higher standard accuracy on CIFAR-10. Our codes are available at https://github.com/TAMU-VITA/Adv-SS-Pretraining.
• Abstract（参考訳）: 自己超越による事前訓練されたモデルは、細調整された下流タスクや精度向上のためによく使用される。 しかし、事前訓練による堅牢性は未検討のままである。 対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 これらの堅牢な事前学習モデルは、次の2つの方法による微調整の恩恵を受けることができる。 一 最終模型の堅牢性を高めること 二 逆微調整に進む場合において、計算コストを節約すること。 CIFAR-10データセットでは,従来のエンドツーエンドのトレーニングベースラインと比較して,提案フレームワークが大きなパフォーマンスマージン(堅牢な精度が3.83%,標準精度が1.3%)を達成することを示すため,広範な実験を行った。 さらに, 自己教師付き事前学習モデルには, 多様な敵の脆弱性があることが判明した。 これは、いくつかの事前訓練タスクをアンサンブルするきっかけとなり、堅牢性を高めます。 今回のアンサンブル戦略は,cifar-10の標準精度をわずかに高めながら,ロバストな精度で3.59%のさらなる改善に寄与する。 私たちのコードはhttps://github.com/TAMU-VITA/Adv-SS-Pretraining.comで公開されています。

関連論文リスト

• Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
  我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。 私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
  論文  参考訳（メタデータ） (2024-01-09T04:33:03Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• RUSH: Robust Contrastive Learning via Randomized Smoothing [31.717748554905015]
  本稿では、対照的な事前学習がロバストネスと興味深いが暗黙の結びつきを持っているという驚くべき事実を示す。 我々は、標準的なコントラスト付き事前学習とランダムな平滑化を組み合わせた強力な対逆攻撃に対する堅牢なアルゴリズムRUSHを設計する。 我々の研究は、最先端技術と比較して、堅牢な精度が15%以上向上し、標準精度がわずかに改善されている。
  論文  参考訳（メタデータ） (2022-07-11T18:45:14Z)
• Vanilla Feature Distillation for Improving the Accuracy-Robustness Trade-Off in Adversarial Training [37.5115141623558]
  本稿では,Vanilla Feature Distillation Adversarial Training (VFD-Adv)を提案する。 我々の手法の重要な利点は、既存の作品に普遍的に適応し、強化できることである。
  論文  参考訳（メタデータ） (2022-06-05T11:57:10Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Bag of Tricks for Adversarial Training [50.53525358778331]
  アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
  論文  参考訳（メタデータ） (2020-10-01T15:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。