論文の概要: New Paradigm of Adversarial Training: Breaking Inherent Trade-Off between Accuracy and Robustness via Dummy Classes

• arxiv url: http://arxiv.org/abs/2410.12671v1
• Date: Wed, 16 Oct 2024 15:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:41:33.962029
• Title: New Paradigm of Adversarial Training: Breaking Inherent Trade-Off between Accuracy and Robustness via Dummy Classes
• Title（参考訳）: 対人訓練の新たなパラダイム:ダミークラスを通しての精度とロバストさの因果関係を打破する
• Authors: Yanyun Wang, Li Liu, Zi Liang, Qingqing Ye, Haibo Hu,
• Abstract要約: 対人訓練(AT)は、DNNの堅牢性を高める最も効果的な方法の1つである。 既存のAT手法は、対向的堅牢性とクリーンな精度の間の本質的にのトレードオフに悩まされる。 そこで本研究では,各オリジナルクラスに対してダミークラスを追加することで,新たなATパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 11.694880978089852
• License:
• Abstract: Adversarial Training (AT) is one of the most effective methods to enhance the robustness of DNNs. However, existing AT methods suffer from an inherent trade-off between adversarial robustness and clean accuracy, which seriously hinders their real-world deployment. While this problem has been widely studied within the current AT paradigm, existing AT methods still typically experience a reduction in clean accuracy by over 10% to date, without significant improvements in robustness compared with simple baselines like PGD-AT. This inherent trade-off raises a question: whether the current AT paradigm, which assumes to learn the corresponding benign and adversarial samples as the same class, inappropriately combines clean and robust objectives that may be essentially inconsistent. In this work, we surprisingly reveal that up to 40% of CIFAR-10 adversarial samples always fail to satisfy such an assumption across various AT methods and robust models, explicitly indicating the improvement room for the current AT paradigm. Accordingly, to relax the tension between clean and robust learning derived from this overstrict assumption, we propose a new AT paradigm by introducing an additional dummy class for each original class, aiming to accommodate the hard adversarial samples with shifted distribution after perturbation. The robustness w.r.t. these adversarial samples can be achieved by runtime recovery from the predicted dummy classes to their corresponding original ones, eliminating the compromise with clean learning. Building on this new paradigm, we propose a novel plug-and-play AT technology named DUmmy Classes-based Adversarial Training (DUCAT). Extensive experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet demonstrate that the DUCAT concurrently improves clean accuracy and adversarial robustness compared with state-of-the-art benchmarks, effectively breaking the existing inherent trade-off.
• Abstract（参考訳）: 対人訓練(AT)は、DNNの堅牢性を高める最も効果的な方法の1つである。 しかし、既存のAT手法は、敵の堅牢性とクリーンな精度のトレードオフに悩まされており、現実の展開を著しく妨げている。 この問題は現在のATパラダイムにおいて広く研究されているが、既存のAT手法では、PGD-ATのような単純なベースラインに比べて、ロバスト性を大幅に改善することなく、従来よりも10%以上精度が低下している。 この固有のトレードオフは、現在のATパラダイムが、同じクラスで対応する良性および敵対的なサンプルを学習することを前提としているが、本質的に矛盾するかもしれないクリーンで堅牢な目的を不適切に組み合わせているかどうかという疑問を提起する。 本研究では,CIFAR-10の正反対サンプルの最大40%が,様々なAT手法やロバストモデルにおいて常にそのような仮定を満たさないことが明らかとなり,現在のATパラダイムの改善の余地が明らかとなった。 そこで本研究では,この過度な仮定から得られたクリーンな学習とロバストな学習の緊張を緩和するために,各オリジナルクラスにダミークラスを追加し,摂動後に分布が変化したハード・逆方向のサンプルに対応することを目的とした,新たなATパラダイムを提案する。 これらの対向サンプルの堅牢性は、予測されたダミークラスから対応する元のクラスへの実行時回復によって達成でき、クリーンな学習による妥協を排除できる。 この新しいパラダイムを基盤として,DUCAT(Dummy Classes-based Adversarial Training)と呼ばれる新しいAT技術を提案する。 CIFAR-10、CIFAR-100、Tiny-ImageNetの大規模な実験により、DUCATは最先端のベンチマークと比較してクリーンな正確さと対角的な堅牢性を同時に改善し、既存のトレードオフを効果的に破壊することを示した。

関連論文リスト

• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• FACTUAL: A Novel Framework for Contrastive Learning Based Robust SAR Image Classification [10.911464455072391]
  FACTUALは、逆行訓練と堅牢なSAR分類のためのコントラストラーニングフレームワークである。 本モデルでは, 洗浄試料の99.7%, 摂動試料の89.6%の精度が得られた。
  論文  参考訳（メタデータ） (2024-04-04T06:20:22Z)
• Adversarial Feature Alignment: Balancing Robustness and Accuracy in Deep Learning via Adversarial Training [10.099179580467737]
  敵の攻撃に対する堅牢性を高めることによりこの問題を軽減するために、敵の訓練が使用される。 このアプローチは典型的には、クリーンで非敵対的なサンプルに対するモデルの標準精度を低下させる。 本稿では,これらの問題に対処するために,AFA (Adversarial Feature Alignment) と呼ばれる新たな対人訓練手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T14:51:20Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Carefully Blending Adversarial Training and Purification Improves Adversarial Robustness [1.2289361708127877]
  CARSOは、防御のために考案された適応的なエンドツーエンドのホワイトボックス攻撃から自身を守ることができる。 提案手法はCIFAR-10, CIFAR-100, TinyImageNet-200の最先端技術により改善されている。
  論文  参考訳（メタデータ） (2023-05-25T09:04:31Z)
• Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
  対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。 強靭性は特定の段階で急激に低下し、常にATの間に存在する。 半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
  論文  参考訳（メタデータ） (2022-05-24T03:18:43Z)
• A Unified Wasserstein Distributional Robustness Framework for Adversarial Training [24.411703133156394]
  本稿では、ワッサーシュタイン分布のロバスト性と現在の最先端AT法を結合する統一的なフレームワークを提案する。 我々は、新しいワッサースタインコスト関数と、新しい一連のリスク関数を導入し、標準ATメソッドが我々のフレームワークのそれに対応する特別なケースであることを示す。 この接続は、既存のAT手法の直感的な緩和と一般化をもたらし、分散ロバスト性ATベースのアルゴリズムの新たなファミリーの開発を促進する。
  論文  参考訳（メタデータ） (2022-02-27T19:40:29Z)
• Adversarial Training with Rectified Rejection [114.83821848791206]
  本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。 軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
  論文  参考訳（メタデータ） (2021-05-31T08:24:53Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。