論文の概要: Bridging the Gap Between Adversarial Robustness and Optimization Bias
- arxiv url: http://arxiv.org/abs/2102.08868v1
- Date: Wed, 17 Feb 2021 16:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-18 14:50:27.106050
- Title: Bridging the Gap Between Adversarial Robustness and Optimization Bias
- Title（参考訳）: 対向ロバスト性と最適化バイアスのギャップを埋める
- Authors: Fartash Faghri, Cristina Vasconcelos, David J. Fleet, Fabian
Pedregosa, Nicolas Le Roux
- Abstract要約: アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。
トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。
特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
- 参考スコア（独自算出の注目度）: 28.56135898767349
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial robustness is an open challenge in deep learning, most often
tackled using adversarial training. Adversarial training is computationally
costly, involving alternated optimization with a trade-off between standard
generalization and adversarial robustness. We explore training robust models
without adversarial training by revisiting a known result linking maximally
robust classifiers and minimum norm solutions, and combining it with recent
results on the implicit bias of optimizers. First, we show that, under certain
conditions, it is possible to achieve both perfect standard accuracy and a
certain degree of robustness without a trade-off, simply by training an
overparameterized model using the implicit bias of the optimization. In that
regime, there is a direct relationship between the type of the optimizer and
the attack to which the model is robust. Second, we investigate the role of the
architecture in designing robust models. In particular, we characterize the
robustness of linear convolutional models, showing that they resist attacks
subject to a constraint on the Fourier-$\ell_\infty$ norm. This result explains
the property of $\ell_p$-bounded adversarial perturbations that tend to be
concentrated in the Fourier domain. This leads us to a novel attack in the
Fourier domain that is inspired by the well-known frequency-dependent
sensitivity of human perception. We evaluate Fourier-$\ell_\infty$ robustness
of recent CIFAR-10 models with robust training and visualize adversarial
perturbations.
- Abstract（参考訳）: 敵意の強固さは、ディープラーニングにおいてオープンな課題であり、しばしば敵意のトレーニングを用いて取り組まれる。
対数トレーニングは計算コストがかかり、標準一般化と対数ロバスト性の間のトレードオフを伴う交互最適化が伴う。
最大ロバストな分類器と最小ノルム解を連結した既知の結果を再検討し、オプティマイザの暗黙のバイアスに関する最近の結果と組み合わせることで、敵対的なトレーニングなしで堅牢なモデルを訓練する。
まず,特定の条件下では,最適化の暗黙のバイアスを用いて過パラメータモデルのトレーニングを行うことで,完全な標準精度とある程度の堅牢性を達成できることを示す。
その体制では、オプティマイザのタイプとモデルが堅牢である攻撃との間に直接的な関係があります。
次に,ロバストモデルの設計におけるアーキテクチャの役割について検討する。
特に、線形畳み込みモデルの堅牢性を特徴づけ、フーリエ-$\ell_\infty$ノルム上の制約を受ける攻撃に抵抗することを示した。
この結果は、フーリエ領域に集中する傾向にある$\ell_p$-bounded adversarial perturbationsの特性を説明する。
これはフーリエ領域において、人間の知覚の周波数依存性の感度に触発された新しい攻撃に繋がる。
我々は,最近のCIFAR-10モデルのFourier-$\ell_\infty$ロバスト性を評価する。
関連論文リスト
- Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。
データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文 参考訳（メタデータ） (2024-07-26T10:49:14Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Explicit Tradeoffs between Adversarial and Natural Distributional
Robustness [48.44639585732391]
実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。
本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
論文 参考訳（メタデータ） (2022-09-15T19:58:01Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳（メタデータ） (2022-03-18T01:12:18Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳（メタデータ） (2021-05-31T17:01:05Z) - Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。
我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。
その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文 参考訳（メタデータ） (2020-12-22T00:45:24Z) - Affine-Invariant Robust Training [0.0]
本研究は,空間的ロバスト性に関する研究をレビューし,入力毎に最悪のアフィン変換を求めるため,ゼロ階最適化アルゴリズムを提案する。
提案手法は,頑健なモデルを効果的に生成し,非パラメトリック逆摂動の導入を可能にする。
論文 参考訳（メタデータ） (2020-10-08T18:59:19Z) - Adversarial Vertex Mixup: Toward Better Adversarially Robust
Generalization [28.072758856453106]
逆の例は、ニューラルネットワークに高い信頼性で誤った出力を発生させる。
我々は、敵対的訓練が、強固な一般化の観点から最適点をオーバーシュートし、AFO(Adversarial Feature Overfitting)につながることを示す。
本稿では,ソフトラベル付きデータ拡張手法としてAdversarial Vertex Mixup (AVmixup)を提案する。
論文 参考訳（メタデータ） (2020-03-05T08:47:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。