論文の概要: Rethinking Invariance Regularization in Adversarial Training to Improve Robustness-Accuracy Trade-off

• arxiv url: http://arxiv.org/abs/2402.14648v2
• Date: Wed, 29 May 2024 02:30:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 23:21:17.996552
• Title: Rethinking Invariance Regularization in Adversarial Training to Improve Robustness-Accuracy Trade-off
• Title（参考訳）: 対人訓練における不均一規則化の再考 : ロバスト性・精度トレードオフの改善
• Authors: Futa Waseda, Ching-Chun Chang, Isao Echizen,
• Abstract要約: 対人訓練は、敵の例(AE)に対抗するための最先端のアプローチである。 正確さを犠牲にして高いロバスト性を達成するという、ロバストネスのトレードオフに悩まされる。 本手法は,識別能力を犠牲にすることなく,逆不変表現を学習することにより,ロバスト性・精度のトレードオフを大幅に改善する。
• 参考スコア（独自算出の注目度）: 7.202931445597171
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although adversarial training has been the state-of-the-art approach to defend against adversarial examples (AEs), it suffers from a robustness-accuracy trade-off, where high robustness is achieved at the cost of clean accuracy. In this work, we leverage invariance regularization on latent representations to learn discriminative yet adversarially invariant representations, aiming to mitigate this trade-off. We analyze two key issues in representation learning with invariance regularization: (1) a "gradient conflict" between invariance loss and classification objectives, leading to suboptimal convergence, and (2) the mixture distribution problem arising from diverged distributions of clean and adversarial inputs. To address these issues, we propose Asymmetrically Representation-regularized Adversarial Training (AR-AT), which incorporates asymmetric invariance loss with stop-gradient operation and a predictor to improve the convergence, and a split-BatchNorm (BN) structure to resolve the mixture distribution problem. Our method significantly improves the robustness-accuracy trade-off by learning adversarially invariant representations without sacrificing discriminative ability. Furthermore, we discuss the relevance of our findings to knowledge-distillation-based defense methods, contributing to a deeper understanding of their relative successes.
• Abstract（参考訳）: 敵の訓練は、敵の例(AE)を防衛する最先端のアプローチであるが、正確さを犠牲にして高い堅牢性が達成されるロバストネス・精度のトレードオフに悩まされている。 本研究では,このトレードオフを緩和するために,潜在表現の不等式正規化を活用し,識別的かつ逆向きに不変表現を学習する。 非分散正規化を伴う表現学習における2つの主要な課題を解析し、(1)不分散損失と分類目的との「段階的な衝突」が最適下収束をもたらすこと、(2)クリーン入力と逆入力の分散分布から生じる混合分布問題について分析する。 これらの問題に対処するため,非対称的非分散損失と停止段階演算と予測器を組み込んだ非対称表現正規化逆行訓練(AR-AT)と,混合分布問題を解決するための分割バッチノーム(BN)構造を提案する。 本手法は,識別能力を犠牲にすることなく,逆不変表現を学習することにより,ロバスト性・精度のトレードオフを大幅に改善する。 さらに,本研究の知見が知識蒸留に基づく防衛手法との関連性について考察し,それらの相対的成功の深い理解に寄与する。

関連論文リスト

• Enhancing Adversarial Robustness via Uncertainty-Aware Distributional Adversarial Training [43.766504246864045]
  そこで本研究では,不確実性を考慮した分散対向学習手法を提案する。 提案手法は, 最先端の対向性を実現し, 自然性能を維持できる。
  論文  参考訳（メタデータ） (2024-11-05T07:26:24Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• Adversarial Amendment is the Only Force Capable of Transforming an Enemy into a Friend [29.172689524555015]
  敵対的攻撃は、誤解を招く行動のため、ニューラルネットワークに対する大きな脅威と見なされることが多い。 本稿では, 敵攻撃を応用して, 正しい修正を行えば, ニューラルモデルを改善するという, 逆の視点を提示する。
  論文  参考訳（メタデータ） (2023-05-18T07:13:02Z)
• Learning Sample Reweighting for Accuracy and Adversarial Robustness [15.591611864928659]
  本稿では,クラス条件付きマージンの概念に基づいて,個々のトレーニングサンプルによる損失の軽減を学習する,新たな逆トレーニングフレームワークを提案する。 我々の手法は、関連する手法や最先端のベースラインと比較して、クリーンかつ堅牢な精度を一貫して改善する。
  論文  参考訳（メタデータ） (2022-10-20T18:25:11Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training [2.538209532048867]
  本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。 本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。 我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
  論文  参考訳（メタデータ） (2022-03-16T21:41:27Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。