論文の概要: Generating Less Certain Adversarial Examples Improves Robust
Generalization
- arxiv url: http://arxiv.org/abs/2310.04539v1
- Date: Fri, 6 Oct 2023 19:06:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 17:49:35.494002
- Title: Generating Less Certain Adversarial Examples Improves Robust
Generalization
- Title(参考訳): 特定の逆例の少ない生成はロバストな一般化を改善する
- Authors: Minxing Zhang, Michael Backes, Xiao Zhang
- Abstract要約: 我々は、敵の訓練中に発生する過信モデルが潜在的な原因であると主張している。
我々は、逆摂動入力を生成できるモデルを探すために、逆行訓練フレームワークに段階的なステップを組み込んだ。
- 参考スコア(独自算出の注目度): 24.728981834558926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have shown that deep neural networks are vulnerable to
adversarial examples. Numerous defenses have been proposed to improve model
robustness, among which adversarial training is most successful. In this work,
we revisit the robust overfitting phenomenon. In particular, we argue that
overconfident models produced during adversarial training could be a potential
cause, supported by the empirical observation that the predicted labels of
adversarial examples generated by models with better robust generalization
ability tend to have significantly more even distributions. Based on the
proposed definition of adversarial certainty, we incorporate an extragradient
step in the adversarial training framework to search for models that can
generate adversarially perturbed inputs with lower certainty, further improving
robust generalization. Our approach is general and can be easily combined with
other variants of adversarial training methods. Extensive experiments on image
benchmarks demonstrate that our method effectively alleviates robust
overfitting and is able to produce models with consistently improved
robustness.
- Abstract(参考訳): 最近の研究では、ディープニューラルネットワークは敵の例に弱いことが示されている。
モデルのロバスト性を改善するために、多くの防御策が提案されている。
本研究では,強固な過剰フィット現象を再検討する。
特に,より堅牢な一般化能力を持つモデルによって生成される敵のサンプルの予測ラベルが,分布よりもはるかに大きい傾向にあるという経験的観察から,敵の訓練中に生成される過信モデルが潜在的原因である可能性が示唆された。
提案した対向的確実性の定義に基づいて、逆向的トレーニングフレームワークに段階的なステップを組み込んで、より低い確実性で逆向的摂動入力を生成できるモデルを探し出し、より堅牢な一般化を向上する。
我々のアプローチは一般的であり、他の逆行訓練手法と簡単に組み合わせることができる。
画像ベンチマークによる広範囲な実験により,本手法はロバストオーバーフィッティングを効果的に緩和し,ロバスト性が一貫して向上したモデルを生成することができる。
関連論文リスト
- Extreme Miscalibration and the Illusion of Adversarial Robustness [70.24478307317523]
敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。
我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。
我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
論文 参考訳(メタデータ) (2024-02-27T13:49:12Z) - The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for
Improving Adversarial Training [72.39526433794707]
敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。
本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。
本手法は,最先端のロバスト性および自然な精度を実現する。
論文 参考訳(メタデータ) (2022-11-01T15:24:26Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-08T07:40:55Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳(メタデータ) (2022-03-18T01:12:18Z) - On the Impact of Hard Adversarial Instances on Overfitting in
Adversarial Training [72.95029777394186]
敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。
トレーニングインスタンスの観点から,この現象を考察する。
逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
論文 参考訳(メタデータ) (2021-12-14T12:19:24Z) - On visual self-supervision and its effect on model robustness [9.313899406300644]
自己監督はモデルロバスト性を改善することができるが、悪魔が細部にあることが判明した。
自己監督型プレトレーニングは, 対人訓練の改善に効果があるが, 自己監督型プレトレーニングを対人訓練に組み込んだ場合, モデル堅牢性や精度には何の利益も与えない。
論文 参考訳(メタデータ) (2021-12-08T16:22:02Z) - Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial
Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。
本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。
本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-10-13T13:54:24Z) - Improving White-box Robustness of Pre-processing Defenses via Joint
Adversarial Training [159.69490269760576]
対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。
プレプロセス法は、ロバストネス劣化効果に悩まされることがある。
この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。
本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
論文 参考訳(メタデータ) (2021-06-10T01:45:32Z) - Provably robust deep generative models [1.52292571922932]
本稿では,確率的に堅牢な生成モデル,特に可変オートエンコーダ(VAE)の確率的に堅牢なバージョンを訓練する手法を提案する。
敵攻撃に対して極めて堅牢な生成モデルを生成することができることを示す。
論文 参考訳(メタデータ) (2020-04-22T14:47:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。