論文の概要: New Paradigm of Adversarial Training: Releasing Accuracy-Robustness Trade-Off via Dummy Class

• arxiv url: http://arxiv.org/abs/2410.12671v2
• Date: Tue, 27 May 2025 02:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:18.659433
• Title: New Paradigm of Adversarial Training: Releasing Accuracy-Robustness Trade-Off via Dummy Class
• Title（参考訳）: 対人訓練の新たなパラダイム:ダミー級による精度・ロバスト性取引の緩和
• Authors: Yanyun Wang, Li Liu, Zi Liang, Yi R., Fung, Qingqing Ye, Haibo Hu,
• Abstract要約: ディープニューラルネットワーク(DNN)のロバスト性を高めるための最も効果的な方法の1つとして、AT(Adversarial Training)がある。 既存のAT方式は、本質的に精度の損なうトレードオフに悩まされている。 そこで本研究では,各オリジナルクラスに対してダミークラスを追加することで,新たなATパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 10.937432407005124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial Training (AT) is one of the most effective methods to enhance the robustness of Deep Neural Networks (DNNs). However, existing AT methods suffer from an inherent accuracy-robustness trade-off. Previous works have studied this issue under the current AT paradigm, but still face over 10% accuracy reduction without significant robustness improvement over simple baselines such as PGD-AT. This inherent trade-off raises a question: Whether the current AT paradigm, which assumes to learn corresponding benign and adversarial samples as the same class, inappropriately mixes clean and robust objectives that may be essentially inconsistent. In fact, our empirical results show that up to 40% of CIFAR-10 adversarial samples always fail to satisfy such an assumption across various AT methods and robust models, explicitly indicating the room for improvement of the current AT paradigm. To relax from this overstrict assumption and the tension between clean and robust learning, in this work, we propose a new AT paradigm by introducing an additional dummy class for each original class, aiming to accommodate hard adversarial samples with shifted distribution after perturbation. The robustness w.r.t. these adversarial samples can be achieved by runtime recovery from the predicted dummy classes to the corresponding original ones, without conflicting with the clean objective on accuracy of benign samples. Finally, based on our new paradigm, we propose a novel DUmmy Classes-based Adversarial Training (DUCAT) method that concurrently improves accuracy and robustness in a plug-and-play manner only relevant to logits, loss, and a proposed two-hot soft label-based supervised signal. Our method outperforms state-of-the-art (SOTA) benchmarks, effectively releasing the current trade-off. The code is available at https://github.com/FlaAI/DUCAT.
• Abstract（参考訳）: 敵対的トレーニング(AT)は、ディープニューラルネットワーク(DNN)の堅牢性を高める最も効果的な方法の1つである。 しかし、既存のAT方式は本質的に精度・損耗のトレードオフに悩まされている。 これまでの研究は、現在のATパラダイムの下でこの問題を研究してきたが、PGD-ATのような単純なベースラインよりも頑健さを向上することなく、10%以上の精度の低下に直面している。 現在のATパラダイムは、同一のクラスで対応する良性および敵対的なサンプルを学習することを前提としていますが、本質的に矛盾するかもしれないクリーンで堅牢な目的を不適切に混ぜ合わせています。 実際、我々の実証実験の結果、CIFAR-10の正反対サンプルの40%は、様々なAT手法やロバストなモデルにおいて、常にそのような仮定を満たさないことが示され、現在のATパラダイムの改善の余地が明確に示されています。 この過度な仮定と、クリーンな学習とロバストな学習の緊張を緩和するため、本研究では、摂動後に分布がシフトしたハード・逆向きのサンプルに対応するために、各元のクラスにダミー・クラスを追加することにより、新しいATパラダイムを提案する。 これらの対向サンプルの堅牢性は、予測されたダミークラスから対応する元のクラスへの実行時回復によって達成でき、良性サンプルの精度に対するクリーンな目標と矛盾しない。 最後に,我々の新しいパラダイムに基づいて,ロジット,ロス,および2ホットソフトラベルに基づく教師付き信号にのみ関連するプラグ・アンド・プレイ方式で,精度とロバスト性を同時に向上するダミー・クラス・ベース・アドバイザリ・トレーニング(DUCAT)手法を提案する。 我々の手法は最先端(SOTA)ベンチマークを上回り、現在のトレードオフを効果的に解放する。 コードはhttps://github.com/FlaAI/DUCAT.comで入手できる。

関連論文リスト

• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• FACTUAL: A Novel Framework for Contrastive Learning Based Robust SAR Image Classification [10.911464455072391]
  FACTUALは、逆行訓練と堅牢なSAR分類のためのコントラストラーニングフレームワークである。 本モデルでは, 洗浄試料の99.7%, 摂動試料の89.6%の精度が得られた。
  論文  参考訳（メタデータ） (2024-04-04T06:20:22Z)
• Adversarial Feature Alignment: Balancing Robustness and Accuracy in Deep Learning via Adversarial Training [10.099179580467737]
  敵の攻撃に対する堅牢性を高めることによりこの問題を軽減するために、敵の訓練が使用される。 このアプローチは典型的には、クリーンで非敵対的なサンプルに対するモデルの標準精度を低下させる。 本稿では,これらの問題に対処するために,AFA (Adversarial Feature Alignment) と呼ばれる新たな対人訓練手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T14:51:20Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Carefully Blending Adversarial Training and Purification Improves Adversarial Robustness [1.2289361708127877]
  CARSOは、防御のために考案された適応的なエンドツーエンドのホワイトボックス攻撃から自身を守ることができる。 提案手法はCIFAR-10, CIFAR-100, TinyImageNet-200の最先端技術により改善されている。
  論文  参考訳（メタデータ） (2023-05-25T09:04:31Z)
• Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
  対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。 強靭性は特定の段階で急激に低下し、常にATの間に存在する。 半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
  論文  参考訳（メタデータ） (2022-05-24T03:18:43Z)
• A Unified Wasserstein Distributional Robustness Framework for Adversarial Training [24.411703133156394]
  本稿では、ワッサーシュタイン分布のロバスト性と現在の最先端AT法を結合する統一的なフレームワークを提案する。 我々は、新しいワッサースタインコスト関数と、新しい一連のリスク関数を導入し、標準ATメソッドが我々のフレームワークのそれに対応する特別なケースであることを示す。 この接続は、既存のAT手法の直感的な緩和と一般化をもたらし、分散ロバスト性ATベースのアルゴリズムの新たなファミリーの開発を促進する。
  論文  参考訳（メタデータ） (2022-02-27T19:40:29Z)
• Adversarial Training with Rectified Rejection [114.83821848791206]
  本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。 軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
  論文  参考訳（メタデータ） (2021-05-31T08:24:53Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。