論文の概要: Adversarial Vertex Mixup: Toward Better Adversarially Robust
Generalization
- arxiv url: http://arxiv.org/abs/2003.02484v3
- Date: Mon, 27 Jul 2020 12:26:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 07:19:24.202760
- Title: Adversarial Vertex Mixup: Toward Better Adversarially Robust
Generalization
- Title（参考訳）: 逆頂点混合:より良い逆ロバスト一般化に向けて
- Authors: Saehyung Lee, Hyungyu Lee, Sungroh Yoon
- Abstract要約: 逆の例は、ニューラルネットワークに高い信頼性で誤った出力を発生させる。
我々は、敵対的訓練が、強固な一般化の観点から最適点をオーバーシュートし、AFO(Adversarial Feature Overfitting)につながることを示す。
本稿では,ソフトラベル付きデータ拡張手法としてAdversarial Vertex Mixup (AVmixup)を提案する。
- 参考スコア（独自算出の注目度）: 28.072758856453106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial examples cause neural networks to produce incorrect outputs with
high confidence. Although adversarial training is one of the most effective
forms of defense against adversarial examples, unfortunately, a large gap
exists between test accuracy and training accuracy in adversarial training. In
this paper, we identify Adversarial Feature Overfitting (AFO), which may cause
poor adversarially robust generalization, and we show that adversarial training
can overshoot the optimal point in terms of robust generalization, leading to
AFO in our simple Gaussian model. Considering these theoretical results, we
present soft labeling as a solution to the AFO problem. Furthermore, we propose
Adversarial Vertex mixup (AVmixup), a soft-labeled data augmentation approach
for improving adversarially robust generalization. We complement our
theoretical analysis with experiments on CIFAR10, CIFAR100, SVHN, and Tiny
ImageNet, and show that AVmixup significantly improves the robust
generalization performance and that it reduces the trade-off between standard
accuracy and adversarial robustness.
- Abstract（参考訳）: 逆の例は、ニューラルネットワークに高い信頼性で誤った出力を発生させる。
対人訓練は、敵の例に対する最も効果的な防御形態の1つであるが、残念ながら、対人訓練におけるテスト精度とトレーニング精度の間には大きなギャップが存在する。
本稿では,敵対的特徴オーバーフィッティング (Adversarial Feature Overfitting, AFO) を同定し, 対人的特徴オーバーフィッティング (Adversarial Feature Overfitting, AFO) が, 強健な一般化の観点から最適な点をオーバーシュートできることを示す。
これらの理論的結果から,AFO問題の解法としてソフトラベリングを提案する。
さらに,逆ロバストな一般化を改善するためのソフトラベルデータ拡張手法であるadversarial vertex mixup (avmixup)を提案する。
我々は, CIFAR10, CIFAR100, SVHN, Tiny ImageNet の実験により理論解析を補完し, AVmixup がロバストな一般化性能を著しく向上し, 標準精度と対向ロバスト性とのトレードオフを低減することを示す。
関連論文リスト
- Adversarial Feature Alignment: Balancing Robustness and Accuracy in Deep
Learning via Adversarial Training [10.099179580467737]
敵の攻撃に対する堅牢性を高めることによりこの問題を軽減するために、敵の訓練が使用される。
このアプローチは典型的には、クリーンで非敵対的なサンプルに対するモデルの標準精度を低下させる。
本稿では,これらの問題に対処するために,AFA (Adversarial Feature Alignment) と呼ばれる新たな対人訓練手法を提案する。
論文 参考訳（メタデータ） (2024-02-19T14:51:20Z) - The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。
FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。
実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
論文 参考訳（メタデータ） (2024-02-18T23:14:40Z) - Enhance Diffusion to Improve Robust Generalization [39.9012723077658]
emphAdversarial Training (AT)は、敵の摂動に対する最も強力な防御機構の1つである。
本稿では, 第一のATフレームワークであるGD-AT(Projected Gradient Descent Adversarial Training)に焦点を当てる。
本稿では,分散項を操作し,計算負荷を実質的に伴わない堅牢な一般化を改善するための新しい手法であるemphDiffusion Enhanced Adversarial Training (DEAT)を提案する。
論文 参考訳（メタデータ） (2023-06-05T06:36:18Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - On the Convergence and Robustness of Adversarial Training [134.25999006326916]
Project Gradient Decent (PGD) によるアドリアリトレーニングが最も効果的である。
生成した逆数例の収束性を向上させるためのテクトダイナミックトレーニング戦略を提案する。
その結果,提案手法の有効性が示唆された。
論文 参考訳（メタデータ） (2021-12-15T17:54:08Z) - Interpolated Joint Space Adversarial Training for Robust and
Generalizable Defenses [82.3052187788609]
敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。
近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。
我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。
JSTMでは,新たな敵攻撃・防衛手法が開発されている。
論文 参考訳（メタデータ） (2021-12-12T21:08:14Z) - Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。
トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。
特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
論文 参考訳（メタデータ） (2021-02-17T16:58:04Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - How Does Mixup Help With Robustness and Generalization? [41.58255103170875]
トレーニングにおけるMixupの使用は、堅牢性と一般化のモデル化にどのように役立つかを示す。
強靭性については, 混合損失の最小化は, 対向損失の上限をほぼ最小化することを示す。
一般化のために、Mixupの拡張は、オーバーフィッティングを減らすデータ適応正規化の特定のタイプに対応することを証明した。
論文 参考訳（メタデータ） (2020-10-09T21:38:14Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳（メタデータ） (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。