論文の概要: Generating Less Certain Adversarial Examples Improves Robust Generalization

• arxiv url: http://arxiv.org/abs/2310.04539v3
• Date: Mon, 21 Oct 2024 11:12:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:11:45.618005
• Title: Generating Less Certain Adversarial Examples Improves Robust Generalization
• Title（参考訳）: ロバストな一般化を改善する不確実な逆例の生成
• Authors: Minxing Zhang, Michael Backes, Xiao Zhang,
• Abstract要約: 本稿では,対人訓練における頑健なオーバーフィット現象を再考する。 我々は、敵の例を予測する際の過信が潜在的な原因であると主張している。 本稿では, モデルが予測するロジットの分散を, 逆数例で捉えた逆数確かさの形式的定義を提案する。
• 参考スコア（独自算出の注目度）: 22.00283527210342
• License:
• Abstract: This paper revisits the robust overfitting phenomenon of adversarial training. Observing that models with better robust generalization performance are less certain in predicting adversarially generated training inputs, we argue that overconfidence in predicting adversarial examples is a potential cause. Therefore, we hypothesize that generating less certain adversarial examples improves robust generalization, and propose a formal definition of adversarial certainty that captures the variance of the model's predicted logits on adversarial examples. Our theoretical analysis of synthetic distributions characterizes the connection between adversarial certainty and robust generalization. Accordingly, built upon the notion of adversarial certainty, we develop a general method to search for models that can generate training-time adversarial inputs with reduced certainty, while maintaining the model's capability in distinguishing adversarial examples. Extensive experiments on image benchmarks demonstrate that our method effectively learns models with consistently improved robustness and mitigates robust overfitting, confirming the importance of generating less certain adversarial examples for robust generalization.
• Abstract（参考訳）: 本稿では,対人訓練における頑健なオーバーフィット現象を再考する。 より堅牢な一般化性能を持つモデルが、敵が生成したトレーニング入力を予測する上で確実でないことを観察し、敵の例を予測する際の過度な自信が潜在的な原因であると論じる。 そこで,本論文では, モデルが予測するロジットのバラツキを, モデルが予測するロジットのばらつきを捉えることによって, 頑健な一般化が促進されるという仮説を立てる。 合成分布の理論解析は, 対向的確かさとロバストな一般化の関連を特徴づける。 そこで, 逆正当性の概念に基づいて, 精度の低いトレーニング時逆入力を生成できるモデルを探索する汎用手法を開発し, 逆正当性を識別するモデルの能力を維持した。 画像ベンチマークによる大規模な実験により, 頑健さを継続的に改善したモデルを効果的に学習し, 頑健なオーバーフィッティングを緩和し, 頑健な一般化のために, より少ない逆例を生成することの重要性を確認した。

関連論文リスト

• Enhancing Adversarial Robustness via Uncertainty-Aware Distributional Adversarial Training [43.766504246864045]
  そこで本研究では,不確実性を考慮した分散対向学習手法を提案する。 提案手法は, 最先端の対向性を実現し, 自然性能を維持できる。
  論文  参考訳（メタデータ） (2024-11-05T07:26:24Z)
• Towards Adversarial Robustness via Debiased High-Confidence Logit Alignment [24.577363665112706]
  近年の対人訓練技術は、高信頼例を生成するために逆対人攻撃を利用している。 本研究は, 逆方向攻撃による高信頼出力が, 偏りのある特徴の活性化と相関していることを明らかにする。 本稿では,このバイアスに対処するため,脱バイアス高信頼度訓練(DHAT)を提案する。 DHATは最先端のパフォーマンスを実現し、さまざまなビジョンデータセットにまたがる堅牢な一般化機能を示す。
  論文  参考訳（メタデータ） (2024-08-12T11:56:06Z)
• Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression [32.727673706238086]
  本稿では、因果的な観点から、敵の訓練を受けたネットワークにおける予期せぬ脆弱性を掘り下げる手法を提案する。 展開することで,不偏環境下での敵予測の因果関係を推定する。 その結果, 推定因果関係は, 正解率の正解率と高い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T08:18:22Z)
• The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training [72.39526433794707]
  敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。 本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。 本手法は,最先端のロバスト性および自然な精度を実現する。
  論文  参考訳（メタデータ） (2022-11-01T15:24:26Z)
• Balanced Adversarial Training: Balancing Tradeoffs between Fickleness and Obstinacy in NLP Models [21.06607915149245]
  本研究は, 標準的な対人訓練手法により, ファックル対人例に対してより脆弱なモデルが得られることを示す。 本研究では, 対外学習を取り入れて, 対外的対外的対外的対外的対外的対外的対外的対外的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対人的対
  論文  参考訳（メタデータ） (2022-10-20T18:02:07Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [72.95029777394186]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 トレーニングインスタンスの観点から,この現象を考察する。 逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• A Frequency Perspective of Adversarial Robustness [72.48178241090149]
  理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。 分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。 本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:12:34Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
  対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。 プレプロセス法は、ロバストネス劣化効果に悩まされることがある。 この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。 本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T01:45:32Z)
• Adversarially Robust Estimate and Risk Analysis in Linear Regression [17.931533943788335]
  反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。 逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。 本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-18T14:55:55Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。