論文の概要: Rethinking Invariance Regularization in Adversarial Training to Improve
Robustness-Accuracy Trade-off
- arxiv url: http://arxiv.org/abs/2402.14648v1
- Date: Thu, 22 Feb 2024 15:53:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 14:44:41.469451
- Title: Rethinking Invariance Regularization in Adversarial Training to Improve
Robustness-Accuracy Trade-off
- Title（参考訳）: 頑健性・正確性トレードオフを改善するための対向訓練における不変正規化の再考
- Authors: Futa Waseda, Isao Echizen
- Abstract要約: 非対称表現正規化訓練(AR-AT)
本手法は,識別力を犠牲にすることなく,逆不変表現を学習することにより,ロバスト性・精度のトレードオフを大幅に改善する。
- 参考スコア（独自算出の注目度）: 9.019708872816508
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Although adversarial training has been the state-of-the-art approach to
defend against adversarial examples (AEs), they suffer from a
robustness-accuracy trade-off. In this work, we revisit representation-based
invariance regularization to learn discriminative yet adversarially invariant
representations, aiming to mitigate this trade-off. We empirically identify two
key issues hindering invariance regularization: (1) a "gradient conflict"
between invariance loss and classification objectives, indicating the existence
of "collapsing solutions," and (2) the mixture distribution problem arising
from diverged distributions of clean and adversarial inputs. To address these
issues, we propose Asymmetrically Representation-regularized Adversarial
Training (AR-AT), which incorporates a stop-gradient operation and a pre-dictor
in the invariance loss to avoid "collapsing solutions," inspired by a recent
non-contrastive self-supervised learning approach, and a split-BatchNorm (BN)
structure to resolve the mixture distribution problem. Our method significantly
improves the robustness-accuracy trade-off by learning adversarially invariant
representations without sacrificing discriminative power. Furthermore, we
discuss the relevance of our findings to knowledge-distillation-based defense
methods, contributing to a deeper understanding of their relative successes.
- Abstract（参考訳）: 敵の訓練は、敵の例(AE)を防衛するための最先端のアプローチであるが、堅牢で正確なトレードオフに悩まされている。
本研究では,このトレードオフを緩和するために,識別的かつ逆方向の不変表現を学ぶために,表現に基づく不変正規化を再考する。
分散正規化の妨げとなる2つの重要な問題として,(1) 分散損失と分類目的との「段階的衝突」,(2) クリーンな入力と敵対的な入力の分散分布から生じる混合分布問題を明らかにする。
そこで本研究では,非矛盾的自己教師付き学習手法と混合分布問題を解決するための分断バッチノルム(bn)構造に着想を得て,分散損失における停止勾配操作と事前ディクターを組み込んだ非対称表現正規化逆訓練(ar-at)を提案する。
本手法は,識別力を犠牲にすることなく,逆不変表現を学習することにより,ロバスト性・精度のトレードオフを大幅に改善する。
さらに, 本研究の知識蒸留に基づく防衛手法との関連性について検討し, それらの相対的成功の深い理解に寄与した。
関連論文リスト
- Enhancing Adversarial Robustness via Uncertainty-Aware Distributional Adversarial Training [43.766504246864045]
そこで本研究では,不確実性を考慮した分散対向学習手法を提案する。
提案手法は, 最先端の対向性を実現し, 自然性能を維持できる。
論文 参考訳（メタデータ） (2024-11-05T07:26:24Z) - Distributional Shift-Aware Off-Policy Interval Estimation: A Unified
Error Quantification Framework [8.572441599469597]
本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。
目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。
提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
論文 参考訳（メタデータ） (2023-09-23T06:35:44Z) - Adversarial Amendment is the Only Force Capable of Transforming an Enemy
into a Friend [29.172689524555015]
敵対的攻撃は、誤解を招く行動のため、ニューラルネットワークに対する大きな脅威と見なされることが多い。
本稿では, 敵攻撃を応用して, 正しい修正を行えば, ニューラルモデルを改善するという, 逆の視点を提示する。
論文 参考訳（メタデータ） (2023-05-18T07:13:02Z) - Learning Sample Reweighting for Accuracy and Adversarial Robustness [15.591611864928659]
本稿では,クラス条件付きマージンの概念に基づいて,個々のトレーニングサンプルによる損失の軽減を学習する,新たな逆トレーニングフレームワークを提案する。
我々の手法は、関連する手法や最先端のベースラインと比較して、クリーンかつ堅牢な精度を一貫して改善する。
論文 参考訳（メタデータ） (2022-10-20T18:25:11Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Robustness through Cognitive Dissociation Mitigation in Contrastive
Adversarial Training [2.538209532048867]
本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。
本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。
我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
論文 参考訳（メタデータ） (2022-03-16T21:41:27Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳（メタデータ） (2022-02-21T10:36:09Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳（メタデータ） (2021-10-29T13:30:42Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳（メタデータ） (2020-10-08T02:10:54Z) - Adversarial Robustness on In- and Out-Distribution Improves
Explainability [109.68938066821246]
RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。
RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
論文 参考訳（メタデータ） (2020-03-20T18:57:52Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。