論文の概要: Explicit Tradeoffs between Adversarial and Natural Distributional
Robustness
- arxiv url: http://arxiv.org/abs/2209.07592v1
- Date: Thu, 15 Sep 2022 19:58:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 12:08:20.825988
- Title: Explicit Tradeoffs between Adversarial and Natural Distributional
Robustness
- Title（参考訳）: 逆境と自然分布のロバスト性との明確なトレードオフ
- Authors: Mazda Moayeri, Kiarash Banihashem, Soheil Feizi
- Abstract要約: 実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。
本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
- 参考スコア（独自算出の注目度）: 48.44639585732391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several existing works study either adversarial or natural distributional
robustness of deep neural networks separately. In practice, however, models
need to enjoy both types of robustness to ensure reliability. In this work, we
bridge this gap and show that in fact, explicit tradeoffs exist between
adversarial and natural distributional robustness. We first consider a simple
linear regression setting on Gaussian data with disjoint sets of core and
spurious features. In this setting, through theoretical and empirical analysis,
we show that (i) adversarial training with $\ell_1$ and $\ell_2$ norms
increases the model reliance on spurious features; (ii) For $\ell_\infty$
adversarial training, spurious reliance only occurs when the scale of the
spurious features is larger than that of the core features; (iii) adversarial
training can have an unintended consequence in reducing distributional
robustness, specifically when spurious correlations are changed in the new test
domain. Next, we present extensive empirical evidence, using a test suite of
twenty adversarially trained models evaluated on five benchmark datasets
(ObjectNet, RIVAL10, Salient ImageNet-1M, ImageNet-9, Waterbirds), that
adversarially trained classifiers rely on backgrounds more than their
standardly trained counterparts, validating our theoretical results. We also
show that spurious correlations in training data (when preserved in the test
domain) can improve adversarial robustness, revealing that previous claims that
adversarial vulnerability is rooted in spurious correlations are incomplete.
- Abstract（参考訳）: いくつかの既存の研究は、ディープニューラルネットワークの逆あるいは自然分布の堅牢性を別々に研究している。
しかし実際には、モデルは信頼性を確保するために両方のタイプの堅牢性を享受する必要があります。
本研究は, このギャップを埋め, 実際, 対角的および自然分布的ロバスト性の間に明確なトレードオフが存在することを示す。
まず,コアとスプリアスの特徴を分離したガウスデータ上の単純な線形回帰設定を考える。
この環境では 理論的かつ実証的な分析を通して
(i) $\ell_1$ および $\ell_2$ノルムによる逆トレーニングは、刺激的な特徴によるモデル依存を増大させる。
(ii)$\ell_\infty$逆行訓練の場合、急激な特徴の規模が中心的特徴の規模よりも大きい場合にのみ、急激な依存が発生する。
(iii) 敵対的訓練は、特に新しいテスト領域でスプリアス相関が変化した場合に、分布的ロバスト性を低減する意図しない結果をもたらすことができる。
次に,5つのベンチマークデータセット(objectnet, rival10, salient imagenet-1m, imagenet-9, waterbirds)で評価された20の敵意訓練モデルのテストスイートを用いて,敵意訓練された分類器が,標準訓練された相手よりも背景に依存して理論的結果を検証する,広範な実証的証拠を示す。
また,(テスト領域に保持されている場合)トレーニングデータにおけるスプリアス相関は,敵のロバスト性を改善する可能性を示し,先行する攻撃的脆弱性はスプリアス相関に根ざしているという主張は不完全であることを明らかにした。
関連論文リスト
- Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。
本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
論文 参考訳（メタデータ） (2024-10-11T03:59:49Z) - Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。
これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。
CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
論文 参考訳（メタデータ） (2024-03-15T17:33:49Z) - The Surprising Harmfulness of Benign Overfitting for Adversarial
Robustness [13.120373493503772]
根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。
我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
論文 参考訳（メタデータ） (2024-01-19T15:40:46Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Understanding the Logit Distributions of Adversarially-Trained Deep
Neural Networks [6.439477789066243]
敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。
敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。
対向性学習に不可欠な3つのロジット特性を同定する。
論文 参考訳（メタデータ） (2021-08-26T19:09:15Z) - Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。
本研究では,長尾分布下における敵対的脆弱性と防御について検討する。
我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
論文 参考訳（メタデータ） (2021-04-06T17:53:08Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。
トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。
特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
論文 参考訳（メタデータ） (2021-02-17T16:58:04Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。
線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。
エンドツーエンドの分類のための堅牢性証明を提供する。
論文 参考訳（メタデータ） (2020-10-22T22:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。