Fugu-MT 論文翻訳(概要): Generating Less Certain Adversarial Examples Improves Robust Generalization

論文の概要: Generating Less Certain Adversarial Examples Improves Robust Generalization

arxiv url: http://arxiv.org/abs/2310.04539v2
Date: Thu, 23 May 2024 09:15:47 GMT
ステータス: 処理完了
システム内更新日: 2024-05-26 20:43:06.252560
Title: Generating Less Certain Adversarial Examples Improves Robust Generalization
Title（参考訳）: ロバストな一般化を改善する不確実な逆例の生成
Authors: Minxing Zhang, Michael Backes, Xiao Zhang,
Abstract要約: 本稿では,対人訓練における頑健なオーバーフィット現象を再考する。我々は、敵の例を予測する際の過信が潜在的な原因であると主張している。本稿では, モデルが予測するロジットの分散を, 逆数例で捉えた逆数確かさの形式的定義を提案する。
参考スコア（独自算出の注目度）: 22.00283527210342
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper revisits the robust overfitting phenomenon of adversarial training. Observing that models with better robust generalization performance are less certain in predicting adversarially generated training inputs, we argue that overconfidence in predicting adversarial examples is a potential cause. Therefore, we hypothesize that generating less certain adversarial examples improves robust generalization, and propose a formal definition of adversarial certainty that captures the variance of the model's predicted logits on adversarial examples. Our theoretical analysis of synthetic distributions characterizes the connection between adversarial certainty and robust generalization. Accordingly, built upon the notion of adversarial certainty, we develop a general method to search for models that can generate training-time adversarial inputs with reduced certainty, while maintaining the model's capability in distinguishing adversarial examples. Extensive experiments on image benchmarks demonstrate that our method effectively learns models with consistently improved robustness and mitigates robust overfitting, confirming the importance of generating less certain adversarial examples for robust generalization.
Abstract（参考訳）: 本稿では,対人訓練における頑健なオーバーフィット現象を再考する。より堅牢な一般化性能を持つモデルが、敵が生成したトレーニング入力を予測する上で確実でないことを観察し、敵の例を予測する際の過度な自信が潜在的な原因であると論じる。そこで,本論文では, モデルが予測するロジットのバラツキを, モデルが予測するロジットのばらつきを捉えることによって, 頑健な一般化が促進されるという仮説を立てる。合成分布の理論解析は, 対向的確かさとロバストな一般化の関連を特徴づける。そこで, 逆正当性の概念に基づいて, 精度の低いトレーニング時逆入力を生成できるモデルを探索する汎用手法を開発し, 逆正当性を識別するモデルの能力を維持した。画像ベンチマークによる大規模な実験により, 頑健さを継続的に改善したモデルを効果的に学習し, 頑健なオーバーフィッティングを緩和し, 頑健な一般化のために, より少ない逆例を生成することの重要性を確認した。

関連論文リスト

Enhancing Adversarial Robustness via Uncertainty-Aware Distributional Adversarial Training [43.766504246864045]
そこで本研究では,不確実性を考慮した分散対向学習手法を提案する。提案手法は, 最先端の対向性を実現し, 自然性能を維持できる。
論文参考訳（メタデータ） (2024-11-05T07:26:24Z)
Towards Adversarial Robustness via Debiased High-Confidence Logit Alignment [24.577363665112706]
近年の対人訓練技術は、高信頼例を生成するために逆対人攻撃を利用している。本研究は, 逆方向攻撃による高信頼出力が, 偏りのある特徴の活性化と相関していることを明らかにする。本稿では,このバイアスに対処するため,脱バイアス高信頼度訓練(DHAT)を提案する。 DHATは最先端のパフォーマンスを実現し、さまざまなビジョンデータセットにまたがる堅牢な一般化機能を示す。
論文参考訳（メタデータ） (2024-08-12T11:56:06Z)
Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-08T07:40:55Z)
Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文参考訳（メタデータ） (2022-03-18T01:12:18Z)
A Frequency Perspective of Adversarial Robustness [72.48178241090149]
理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
論文参考訳（メタデータ） (2021-10-26T19:12:34Z)
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文参考訳（メタデータ） (2021-10-13T13:54:24Z)
Adversarially Robust Estimate and Risk Analysis in Linear Regression [17.931533943788335]
反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-12-18T14:55:55Z)
Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文参考訳（メタデータ） (2020-11-24T19:52:38Z)
Provably robust deep generative models [1.52292571922932]
本稿では,確率的に堅牢な生成モデル,特に可変オートエンコーダ(VAE)の確率的に堅牢なバージョンを訓練する手法を提案する。敵攻撃に対して極めて堅牢な生成モデルを生成することができることを示す。
論文参考訳（メタデータ） (2020-04-22T14:47:41Z)
Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文参考訳（メタデータ） (2020-02-14T12:36:59Z)
Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
敵の例は誤分類を引き起こすために作られた悪意のある入力である。本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
論文参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。