論文の概要: Can we have it all? On the Trade-off between Spatial and Adversarial
Robustness of Neural Networks
- arxiv url: http://arxiv.org/abs/2002.11318v5
- Date: Wed, 10 Nov 2021 18:26:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 13:50:51.003692
- Title: Can we have it all? On the Trade-off between Spatial and Adversarial
Robustness of Neural Networks
- Title（参考訳）: 全部手に入れられますか。
ニューラルネットワークの空間的・敵対的ロバスト性のトレードオフについて
- Authors: Sandesh Kamath, Amit Deshpande, K V Subrahmanyam, Vineeth N
Balasubramanian
- Abstract要約: 簡単な統計的条件下で,空間的ロバスト性と対角的ロバスト性の間に定量的なトレードオフを証明した。
本研究では,より困難な摂動(空間的・対角的)を段階的に訓練し,空間的・対角的ロバスト性を同時に向上させるカリキュラム学習に基づく手法を提案する。
- 参考スコア（独自算出の注目度）: 21.664470275289403
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: (Non-)robustness of neural networks to small, adversarial pixel-wise
perturbations, and as more recently shown, to even random spatial
transformations (e.g., translations, rotations) entreats both theoretical and
empirical understanding. Spatial robustness to random translations and
rotations is commonly attained via equivariant models (e.g., StdCNNs, GCNNs)
and training augmentation, whereas adversarial robustness is typically achieved
by adversarial training. In this paper, we prove a quantitative trade-off
between spatial and adversarial robustness in a simple statistical setting. We
complement this empirically by showing that: (a) as the spatial robustness of
equivariant models improves by training augmentation with progressively larger
transformations, their adversarial robustness worsens progressively, and (b) as
the state-of-the-art robust models are adversarially trained with progressively
larger pixel-wise perturbations, their spatial robustness drops progressively.
Towards achieving pareto-optimality in this trade-off, we propose a method
based on curriculum learning that trains gradually on more difficult
perturbations (both spatial and adversarial) to improve spatial and adversarial
robustness simultaneously.
- Abstract（参考訳）: (Non-) ニューラルネットワークの小さな対向ピクセルの摂動への悪影響や、最近示されているように、ランダムな空間変換(例えば、翻訳、回転)さえも、理論的および経験的理解の両方を包含する。
ランダムな翻訳や回転に対する空間的堅牢性は、通常、同変モデル(例えば、StdCNN、GCNN)とトレーニング強化によって達成される。
本稿では,単純な統計的設定において,空間的・敵対的ロバスト性との定量的トレードオフを実証する。
私たちは経験的にこれを補完します
(a)等変モデルの空間的ロバスト性は、漸進的に大きな変換で拡張を訓練することで向上し、その逆ロバスト性は徐々に悪化する。
(b)最先端のロバストモデルが、逆に大きなピクセル方向の摂動で訓練されると、空間的ロバスト性は徐々に低下する。
このトレードオフの中でパレート最適化を実現するために,より難しい摂動(空間的・敵対的)を徐々に訓練し,空間的・敵対的ロバスト性を同時に向上させるカリキュラム学習法を提案する。
関連論文リスト
- Rethinking Invariance Regularization in Adversarial Training to Improve Robustness-Accuracy Trade-off [7.202931445597171]
対人訓練は、敵の例(AE)に対抗するための最先端のアプローチである。
正確さを犠牲にして高いロバスト性を達成するという、ロバストネスのトレードオフに悩まされる。
本手法は,識別能力を犠牲にすることなく,逆不変表現を学習することにより,ロバスト性・精度のトレードオフを大幅に改善する。
論文 参考訳（メタデータ） (2024-02-22T15:53:46Z) - Towards Improving Robustness Against Common Corruptions in Object
Detectors Using Adversarial Contrastive Learning [10.27974860479791]
本稿では, ニューラルネットワークの強靭性向上と, 対人攻撃と共通汚職の同時防止を目的とした, 革新的な対人的コントラスト学習フレームワークを提案する。
対戦型および実世界の条件下での性能向上に焦点を合わせることで、安全クリティカルなアプリケーションにおけるニューラルネットワークの堅牢性を高めることを目的としている。
論文 参考訳（メタデータ） (2023-11-14T06:13:52Z) - Addressing Mistake Severity in Neural Networks with Semantic Knowledge [0.0]
ほとんどの堅牢なトレーニング技術は、摂動入力のモデル精度を改善することを目的としている。
強靭性の代替形態として、ニューラルネットワークが挑戦的な状況で犯した誤りの深刻度を低減することを目的としている。
我々は、現在の対人訓練手法を活用して、トレーニングプロセス中に標的の対人攻撃を発生させる。
その結果,本手法は,標準モデルや逆トレーニングモデルと比較して,誤り重大性に対して優れた性能を示した。
論文 参考訳（メタデータ） (2022-11-21T22:01:36Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-08T07:40:55Z) - Exploring Transferable and Robust Adversarial Perturbation Generation
from the Perspective of Network Hierarchy [52.153866313879924]
敵の例の移動可能性と堅牢性は、ブラックボックスの敵攻撃の実用的かつ重要な2つの性質である。
伝送可能で頑健な逆生成法(TRAP)を提案する。
我々のTRAPは、ある種の干渉に対して印象的な伝達性と高い堅牢性を実現する。
論文 参考訳（メタデータ） (2021-08-16T11:52:41Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - Improving Global Adversarial Robustness Generalization With
Adversarially Trained GAN [0.0]
畳み込みニューラルネットワーク(cnns)は、画像分類タスクにおいて人間のレベルの精度を超えている。
cnnは、分類モデルを誤解することを目的としたよく設計されたノイズである敵対的摂動に対する脆弱性を示す。
対人訓練により訓練された最先端CNNの対人ロバスト性一般化を改善するために、対人訓練GAN(ATGAN)を提案する。
論文 参考訳（メタデータ） (2021-03-08T02:18:24Z) - Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。
提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
論文 参考訳（メタデータ） (2020-09-18T17:52:34Z) - On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。
滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文 参考訳（メタデータ） (2020-08-15T02:32:09Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳（メタデータ） (2020-07-29T08:38:10Z) - Towards Achieving Adversarial Robustness by Enforcing Feature
Consistency Across Bit Planes [51.31334977346847]
我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。
異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-04-01T09:31:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。