論文の概要: Rethinking Invariance Regularization in Adversarial Training to Improve
Robustness-Accuracy Trade-off
- arxiv url: http://arxiv.org/abs/2402.14648v1
- Date: Thu, 22 Feb 2024 15:53:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 14:44:41.469451
- Title: Rethinking Invariance Regularization in Adversarial Training to Improve
Robustness-Accuracy Trade-off
- Title(参考訳): 頑健性・正確性トレードオフを改善するための対向訓練における不変正規化の再考
- Authors: Futa Waseda, Isao Echizen
- Abstract要約: 非対称表現正規化訓練(AR-AT)
本手法は,識別力を犠牲にすることなく,逆不変表現を学習することにより,ロバスト性・精度のトレードオフを大幅に改善する。
- 参考スコア(独自算出の注目度): 9.019708872816508
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Although adversarial training has been the state-of-the-art approach to
defend against adversarial examples (AEs), they suffer from a
robustness-accuracy trade-off. In this work, we revisit representation-based
invariance regularization to learn discriminative yet adversarially invariant
representations, aiming to mitigate this trade-off. We empirically identify two
key issues hindering invariance regularization: (1) a "gradient conflict"
between invariance loss and classification objectives, indicating the existence
of "collapsing solutions," and (2) the mixture distribution problem arising
from diverged distributions of clean and adversarial inputs. To address these
issues, we propose Asymmetrically Representation-regularized Adversarial
Training (AR-AT), which incorporates a stop-gradient operation and a pre-dictor
in the invariance loss to avoid "collapsing solutions," inspired by a recent
non-contrastive self-supervised learning approach, and a split-BatchNorm (BN)
structure to resolve the mixture distribution problem. Our method significantly
improves the robustness-accuracy trade-off by learning adversarially invariant
representations without sacrificing discriminative power. Furthermore, we
discuss the relevance of our findings to knowledge-distillation-based defense
methods, contributing to a deeper understanding of their relative successes.
- Abstract(参考訳): 敵の訓練は、敵の例(AE)を防衛するための最先端のアプローチであるが、堅牢で正確なトレードオフに悩まされている。
本研究では,このトレードオフを緩和するために,識別的かつ逆方向の不変表現を学ぶために,表現に基づく不変正規化を再考する。
分散正規化の妨げとなる2つの重要な問題として,(1) 分散損失と分類目的との「段階的衝突」,(2) クリーンな入力と敵対的な入力の分散分布から生じる混合分布問題を明らかにする。
そこで本研究では,非矛盾的自己教師付き学習手法と混合分布問題を解決するための分断バッチノルム(bn)構造に着想を得て,分散損失における停止勾配操作と事前ディクターを組み込んだ非対称表現正規化逆訓練(ar-at)を提案する。
本手法は,識別力を犠牲にすることなく,逆不変表現を学習することにより,ロバスト性・精度のトレードオフを大幅に改善する。
さらに, 本研究の知識蒸留に基づく防衛手法との関連性について検討し, それらの相対的成功の深い理解に寄与した。
関連論文リスト
- Proxy Methods for Domain Adaptation [78.03254010884783]
プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。
両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
論文 参考訳(メタデータ) (2024-03-12T09:32:41Z) - Distributional Shift-Aware Off-Policy Interval Estimation: A Unified
Error Quantification Framework [8.572441599469597]
本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。
目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。
提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
論文 参考訳(メタデータ) (2023-09-23T06:35:44Z) - Adversarial Amendment is the Only Force Capable of Transforming an Enemy
into a Friend [29.172689524555015]
敵対的攻撃は、誤解を招く行動のため、ニューラルネットワークに対する大きな脅威と見なされることが多い。
本稿では, 敵攻撃を応用して, 正しい修正を行えば, ニューラルモデルを改善するという, 逆の視点を提示する。
論文 参考訳(メタデータ) (2023-05-18T07:13:02Z) - Randomized Kaczmarz in Adversarial Distributed Setting [15.23454580321625]
本稿では,凸最適化問題に対して逆耐性を持つ反復的アプローチを提案する。
本手法は収束を保証し,逆分布に適応することができる。
論文 参考訳(メタデータ) (2023-02-24T01:26:56Z) - Learning Fair Representation via Distributional Contrastive
Disentanglement [9.577369164287813]
公正な表現を学ぶことは、公平性を達成するか、センシティブな情報を悪用するために不可欠である。
本稿では,FarconVAE(Contrastive Variational AutoEncoder)を用いたFAir表現学習手法を提案する。
フェアネス、事前訓練されたモデルデバイアス、および様々なモダリティからの領域一般化タスクにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2022-06-17T12:58:58Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳(メタデータ) (2022-05-02T04:04:23Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳(メタデータ) (2021-10-29T13:30:42Z) - Adversarial Robustness through the Lens of Causality [105.51753064807014]
ディープニューラルネットワークの敵対的脆弱性は、機械学習において大きな注目を集めている。
我々は、因果関係を敵対的脆弱性の軽減に組み込むことを提案する。
我々の手法は、敵の脆弱性を緩和するために因果性を利用する最初の試みと見なすことができる。
論文 参考訳(メタデータ) (2021-06-11T06:55:02Z) - End-to-End Learning and Intervention in Games [60.41921763076017]
ゲームにおける学習と介入のための統一的なフレームワークを提供する。
明示的および暗黙的な区別に基づく2つのアプローチを提案する。
分析結果は、実世界のいくつかの問題を用いて検証される。
論文 参考訳(メタデータ) (2020-10-26T18:39:32Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳(メタデータ) (2020-10-08T02:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。