論文の概要: Consistency Regularization for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2103.04623v1
• Date: Mon, 8 Mar 2021 09:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 16:00:12.741670
• Title: Consistency Regularization for Adversarial Robustness
• Title（参考訳）: 対向ロバスト性のための一貫性規則化
• Authors: Jihoon Tack, Sihyun Yu, Jongheon Jeong, Minseon Kim, Sung Ju Hwang, Jinwoo Shin
• Abstract要約: adversarial trainingは、ディープニューラルネットワークの敵対的堅牢性を得るために最も成功した方法の1つである。 しかし、ATから得られる堅牢性の大幅な一般化ギャップは問題視されている。 本稿では,この問題に対処するためにデータ拡張手法について検討する。
• 参考スコア（独自算出の注目度）: 88.65786118562005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) is currently one of the most successful methods to obtain the adversarial robustness of deep neural networks. However, a significant generalization gap in the robustness obtained from AT has been problematic, making practitioners to consider a bag of tricks for a successful training, e.g., early stopping. In this paper, we investigate data augmentation (DA) techniques to address the issue. In contrast to the previous reports in the literature that DA is not effective for regularizing AT, we discover that DA can mitigate overfitting in AT surprisingly well, but they should be chosen deliberately. To utilize the effect of DA further, we propose a simple yet effective auxiliary 'consistency' regularization loss to optimize, which forces predictive distributions after attacking from two different augmentations to be similar to each other. Our experimental results demonstrate that our simple regularization scheme is applicable for a wide range of AT methods, showing consistent yet significant improvements in the test robust accuracy. More remarkably, we also show that our method could significantly help the model to generalize its robustness against unseen adversaries, e.g., other types or larger perturbations compared to those used during training. Code is available at https://github.com/alinlab/consistency-adversarial.
• Abstract（参考訳）: 敵意訓練(adversarial training, at)は、ディープニューラルネットワークの敵意強固性を得るための最も成功した方法の1つである。 しかし、ATから得られるロバスト性における顕著な一般化のギャップは問題であり、訓練を成功させるためのトリックの袋、例えば早期停止を考えるようにしている。 本稿では,この問題に対処するためのデータ拡張(DA)技術について検討する。 DAがATの正規化に有効でないという文献の以前の報告とは対照的に、DAはATの過剰適合を驚くほど軽減できるが、意図的に選択すべきである。 DAの効果をさらに活用するために,2つの異なる拡張から攻撃した際の予測分布を互いに類似させる,簡易かつ効果的な補助的「一貫性」正規化損失を最適化する手法を提案する。 我々の実験結果は、私たちの単純な正規化スキームが幅広いAT方法に適用可能であることを実証し、テストの堅牢な精度の一貫性と大幅な改善を示しています。 さらに,本手法は,学習中に使用するものに比べて,他のタイプや大きな摂動など,目に見えない敵に対する頑健さを一般化する上で有益であることを示す。 コードはhttps://github.com/alinlab/consistency-adversarialで入手できる。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• AROID: Improving Adversarial Robustness Through Online Instance-Wise Data Augmentation [6.625868719336385]
  対戦訓練(英語: Adversarial Training、AT)は、敵の例に対する効果的な防御である。 データ拡張(DA)は、AT向けに適切に設計され最適化された場合、ロバストなオーバーフィッティングの軽減に有効であることが示されている。 本研究は、ATの堅牢な一般化を改善するために、オンライン、例えばDAポリシーを自動的に学習する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:54:52Z)
• Enhance Diffusion to Improve Robust Generalization [39.9012723077658]
  emphAdversarial Training (AT)は、敵の摂動に対する最も強力な防御機構の1つである。 本稿では, 第一のATフレームワークであるGD-AT(Projected Gradient Descent Adversarial Training)に焦点を当てる。 本稿では,分散項を操作し,計算負荷を実質的に伴わない堅牢な一般化を改善するための新しい手法であるemphDiffusion Enhanced Adversarial Training (DEAT)を提案する。
  論文  参考訳（メタデータ） (2023-06-05T06:36:18Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
  対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。 強靭性は特定の段階で急激に低下し、常にATの間に存在する。 半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
  論文  参考訳（メタデータ） (2022-05-24T03:18:43Z)
• Exploring Adversarially Robust Training for Unsupervised Domain Adaptation [71.94264837503135]
  Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。 本稿では、UDAのドメイン不変性を学習しながら、ATを介してラベルなしデータのロバスト性を高める方法について検討する。 本稿では,ARTUDA と呼ばれる UDA の適応的ロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-18T17:05:19Z)
• Bag of Tricks for Adversarial Training [50.53525358778331]
  アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
  論文  参考訳（メタデータ） (2020-10-01T15:03:51Z)
• Second Order Optimization for Adversarial Robustness and Interpretability [6.700873164609009]
  本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。 正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。 それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
  論文  参考訳（メタデータ） (2020-09-10T15:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。