論文の概要: Generating Less Certain Adversarial Examples Improves Robust Generalization

• arxiv url: http://arxiv.org/abs/2310.04539v1
• Date: Fri, 6 Oct 2023 19:06:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 17:49:35.494002
• Title: Generating Less Certain Adversarial Examples Improves Robust Generalization
• Title（参考訳）: 特定の逆例の少ない生成はロバストな一般化を改善する
• Authors: Minxing Zhang, Michael Backes, Xiao Zhang
• Abstract要約: 我々は、敵の訓練中に発生する過信モデルが潜在的な原因であると主張している。 我々は、逆摂動入力を生成できるモデルを探すために、逆行訓練フレームワークに段階的なステップを組み込んだ。
• 参考スコア（独自算出の注目度）: 24.728981834558926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that deep neural networks are vulnerable to adversarial examples. Numerous defenses have been proposed to improve model robustness, among which adversarial training is most successful. In this work, we revisit the robust overfitting phenomenon. In particular, we argue that overconfident models produced during adversarial training could be a potential cause, supported by the empirical observation that the predicted labels of adversarial examples generated by models with better robust generalization ability tend to have significantly more even distributions. Based on the proposed definition of adversarial certainty, we incorporate an extragradient step in the adversarial training framework to search for models that can generate adversarially perturbed inputs with lower certainty, further improving robust generalization. Our approach is general and can be easily combined with other variants of adversarial training methods. Extensive experiments on image benchmarks demonstrate that our method effectively alleviates robust overfitting and is able to produce models with consistently improved robustness.
• Abstract（参考訳）: 最近の研究では、ディープニューラルネットワークは敵の例に弱いことが示されている。 モデルのロバスト性を改善するために、多くの防御策が提案されている。 本研究では,強固な過剰フィット現象を再検討する。 特に,より堅牢な一般化能力を持つモデルによって生成される敵のサンプルの予測ラベルが,分布よりもはるかに大きい傾向にあるという経験的観察から,敵の訓練中に生成される過信モデルが潜在的原因である可能性が示唆された。 提案した対向的確実性の定義に基づいて、逆向的トレーニングフレームワークに段階的なステップを組み込んで、より低い確実性で逆向的摂動入力を生成できるモデルを探し出し、より堅牢な一般化を向上する。 我々のアプローチは一般的であり、他の逆行訓練手法と簡単に組み合わせることができる。 画像ベンチマークによる広範囲な実験により,本手法はロバストオーバーフィッティングを効果的に緩和し,ロバスト性が一貫して向上したモデルを生成することができる。

関連論文リスト

• Enhancing Adversarial Robustness via Uncertainty-Aware Distributional Adversarial Training [43.766504246864045]
  そこで本研究では,不確実性を考慮した分散対向学習手法を提案する。 提案手法は, 最先端の対向性を実現し, 自然性能を維持できる。
  論文  参考訳（メタデータ） (2024-11-05T07:26:24Z)
• Towards Adversarial Robustness via Debiased High-Confidence Logit Alignment [24.577363665112706]
  近年の対人訓練技術は、高信頼例を生成するために逆対人攻撃を利用している。 本研究は, 逆方向攻撃による高信頼出力が, 偏りのある特徴の活性化と相関していることを明らかにする。 本稿では,このバイアスに対処するため,脱バイアス高信頼度訓練(DHAT)を提案する。 DHATは最先端のパフォーマンスを実現し、さまざまなビジョンデータセットにまたがる堅牢な一般化機能を示す。
  論文  参考訳（メタデータ） (2024-08-12T11:56:06Z)
• Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression [32.727673706238086]
  本稿では、因果的な観点から、敵の訓練を受けたネットワークにおける予期せぬ脆弱性を掘り下げる手法を提案する。 展開することで,不偏環境下での敵予測の因果関係を推定する。 その結果, 推定因果関係は, 正解率の正解率と高い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T08:18:22Z)
• The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training [72.39526433794707]
  敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。 本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。 本手法は,最先端のロバスト性および自然な精度を実現する。
  論文  参考訳（メタデータ） (2022-11-01T15:24:26Z)
• Balanced Adversarial Training: Balancing Tradeoffs between Fickleness and Obstinacy in NLP Models [21.06607915149245]
  本研究は, 標準的な対人訓練手法により, ファックル対人例に対してより脆弱なモデルが得られることを示す。 本研究では, 対外学習を取り入れて, 対外的対外的対外的対外的対外的対外的対外的対外的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対
  論文  参考訳（メタデータ） (2022-10-20T18:02:07Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [72.95029777394186]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 トレーニングインスタンスの観点から,この現象を考察する。 逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• A Frequency Perspective of Adversarial Robustness [72.48178241090149]
  理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。 分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。 本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:12:34Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
  対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。 プレプロセス法は、ロバストネス劣化効果に悩まされることがある。 この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。 本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T01:45:32Z)
• Adversarially Robust Estimate and Risk Analysis in Linear Regression [17.931533943788335]
  反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。 逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。 本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-18T14:55:55Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。