論文の概要: Rethinking the Effect of Data Augmentation in Adversarial Contrastive Learning

• arxiv url: http://arxiv.org/abs/2303.01289v2
• Date: Fri, 3 Mar 2023 02:21:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 11:41:26.126968
• Title: Rethinking the Effect of Data Augmentation in Adversarial Contrastive Learning
• Title（参考訳）: 敵対的コントラスト学習におけるデータ強化の効果の再考
• Authors: Rundong Luo, Yifei Wang, Yisen Wang
• Abstract要約: CIFAR-10データセット上で、DYNACLはAuto-Attackの下で最先端の自己ATロバスト性を8.84%向上できることを示す。 また,DYNACLはバニラ指導による対人訓練を初めて上回りうることを示した。
• 参考スコア（独自算出の注目度）: 15.259867823352012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works have shown that self-supervised learning can achieve remarkable robustness when integrated with adversarial training (AT). However, the robustness gap between supervised AT (sup-AT) and self-supervised AT (self-AT) remains significant. Motivated by this observation, we revisit existing self-AT methods and discover an inherent dilemma that affects self-AT robustness: either strong or weak data augmentations are harmful to self-AT, and a medium strength is insufficient to bridge the gap. To resolve this dilemma, we propose a simple remedy named DYNACL (Dynamic Adversarial Contrastive Learning). In particular, we propose an augmentation schedule that gradually anneals from a strong augmentation to a weak one to benefit from both extreme cases. Besides, we adopt a fast post-processing stage for adapting it to downstream tasks. Through extensive experiments, we show that DYNACL can improve state-of-the-art self-AT robustness by 8.84% under Auto-Attack on the CIFAR-10 dataset, and can even outperform vanilla supervised adversarial training for the first time. Our code is available at \url{https://github.com/PKU-ML/DYNACL}.
• Abstract（参考訳）: 近年の研究では, 自己指導型学習が, 対人訓練(AT)と統合された場合, 顕著な堅牢性を実現することが示されている。 しかし, 教師付きAT(sup-AT)と自己監督型AT(self-AT)との堅牢性ギャップは依然として大きい。 この観察に動機づけられ、既存のセルフアット法を再検討し、自己アットの堅牢性に影響を与える固有のジレンマを発見する: 強いデータ拡張または弱いデータ拡張は自己アットに有害であり、中間強度はギャップを橋渡しするのに不十分である。 このジレンマを解決するために,DYNACL(Dynamic Adversarial Contrastive Learning)というシンプルな治療法を提案する。 特に,強い増補から弱い増補へと徐々にアニールし,双方の極端な事例から恩恵を受ける増補スケジュールを提案する。 さらに、下流タスクに適応するために、高速な後処理ステージを採用しています。 CIFAR-10データセットにおいて、DYNACLはAuto-Attackの下で8.84%の最先端の自己ATロバスト性を向上でき、バニラ監督型対人訓練を初めて上回る結果となった。 私たちのコードは \url{https://github.com/PKU-ML/DYNACL} で利用可能です。

関連論文リスト

• The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
  我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。 FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。 実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
  論文  参考訳（メタデータ） (2024-02-18T23:14:40Z)
• SEDA: Self-Ensembling ViT with Defensive Distillation and Adversarial Training for robust Chest X-rays Classification [0.8812173669205372]
  ViT(Vision Transformer)は、敵、プライバシ、シークレットの攻撃に対して、医療環境における信頼性に対する深刻な懸念を引き起こす。 防衛蒸留・逆行訓練(SEDA)を用いた自己組立型ViTを提案する。 SEDAは、効率的なCNNブロックを用いて、中間 ViT ブロックから抽出した特徴表現から様々なレベルの抽象的な空間的特徴を学習する。
  論文  参考訳（メタデータ） (2023-08-15T16:40:46Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)
• Adversarial Visual Robustness by Causal Intervention [56.766342028800445]
  敵の訓練は、敵の例に対する事実上最も有望な防御である。 しかし、その受動性は必然的に未知の攻撃者への免疫を妨げる。 我々は、敵対的脆弱性の因果的視点を提供する: 原因は、学習に普遍的に存在する共同創設者である。
  論文  参考訳（メタデータ） (2021-06-17T14:23:54Z)
• Consistency Regularization for Adversarial Robustness [88.65786118562005]
  adversarial trainingは、ディープニューラルネットワークの敵対的堅牢性を得るために最も成功した方法の1つである。 しかし、ATから得られる堅牢性の大幅な一般化ギャップは問題視されている。 本稿では,この問題に対処するためにデータ拡張手法について検討する。
  論文  参考訳（メタデータ） (2021-03-08T09:21:41Z)
• Adversarial Momentum-Contrastive Pre-Training [20.336258934272102]
  adversarial self-supervised pre-trainingは、データ拡張とadversarial perturbationの両方の下で不変表現を抽出するのに役立つ。 本稿では,新しい対向運動量比較(AMOC)事前学習手法を提案する。 既存の自己監督型プリトレーニングアプローチと比較して、AMOCはより小さなバッチサイズとより少ないトレーニングエポックを使用できますが、より堅牢な機能を学びます。
  論文  参考訳（メタデータ） (2020-12-24T07:49:10Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。