論文の概要: On the Onset of Robust Overfitting in Adversarial Training

• arxiv url: http://arxiv.org/abs/2310.00607v1
• Date: Sun, 1 Oct 2023 07:57:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 03:09:45.361852
• Title: On the Onset of Robust Overfitting in Adversarial Training
• Title（参考訳）: 対向訓練におけるロバストオーバーフィッティングの発症について
• Authors: Chaojian Yu, Xiaolong Shi, Jun Yu, Bo Han, Tongliang Liu
• Abstract要約: Adversarial Training (AT)は、堅牢なニューラルネットワークを構築するために広く使われているアルゴリズムである。 ATは、堅牢なオーバーフィッティングの問題に悩まされているが、その基本的なメカニズムはまだ不明だ。
• 参考スコア（独自算出の注目度）: 66.27055915739331
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Adversarial Training (AT) is a widely-used algorithm for building robust neural networks, but it suffers from the issue of robust overfitting, the fundamental mechanism of which remains unclear. In this work, we consider normal data and adversarial perturbation as separate factors, and identify that the underlying causes of robust overfitting stem from the normal data through factor ablation in AT. Furthermore, we explain the onset of robust overfitting as a result of the model learning features that lack robust generalization, which we refer to as non-effective features. Specifically, we provide a detailed analysis of the generation of non-effective features and how they lead to robust overfitting. Additionally, we explain various empirical behaviors observed in robust overfitting and revisit different techniques to mitigate robust overfitting from the perspective of non-effective features, providing a comprehensive understanding of the robust overfitting phenomenon. This understanding inspires us to propose two measures, attack strength and data augmentation, to hinder the learning of non-effective features by the neural network, thereby alleviating robust overfitting. Extensive experiments conducted on benchmark datasets demonstrate the effectiveness of the proposed methods in mitigating robust overfitting and enhancing adversarial robustness.
• Abstract（参考訳）: Adversarial Training (AT)は、堅牢なニューラルネットワークを構築するために広く使われているアルゴリズムであるが、堅牢なオーバーフィッティングの問題に悩まされている。 本研究では, 正規データと逆摂動を分離した要因と考え, 強固な過剰フィッティングの原因がatにおける因子アブレーションによる正常データから生じることを同定する。 さらに、ロバストな一般化を欠いたモデル学習機能の結果として、ロバストな過剰フィッティングが始まっていることを説明し、これを非効率的な機能と呼ぶ。 具体的には、非効率的な機能の生成と、それらがいかに堅牢な過剰フィッティングにつながるかに関する詳細な分析を提供する。 さらに, 強靭な過フィット現象を包括的に理解し, 強靭な過フィットを非効率な特徴の観点から緩和するために, 様々なテクニックを再検討する。 この理解は、ニューラルネットワークによる非効率な特徴の学習を妨げるために、攻撃強度とデータ拡張という2つの尺度を提案するきっかけとなる。 ベンチマークデータセットを用いた広範囲な実験により,提案手法の有効性が実証された。

関連論文リスト

• Understanding Adversarially Robust Generalization via Weight-Curvature Index [3.096869664709865]
  We propose a novel perspective to decipherally robust generalization through the Lens of the Weight-Curvature Index (WCI)。 提案したWCIは、重量行列のフロベニウスノルムとヘッセン行列のトレースを用いて、逆摂動に対するモデルの脆弱性を定量化する。 私たちの研究は、よりレジリエントなディープラーニングモデルを設計し、信頼性とセキュリティを高める上で、重要な洞察を提供します。
  論文  参考訳（メタデータ） (2024-10-10T08:34:43Z)
• Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement [61.048842737581865]
  逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。 特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。 3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
  論文  参考訳（メタデータ） (2024-01-26T08:38:57Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Quantifying the robustness of deep multispectral segmentation models against natural perturbations and data poisoning [0.0]
  対向攻撃と自然摂動を受けるマルチスペクトル(RGBおよび近赤外線)画像分割モデルの性能とロバスト性を特徴付ける。 RGBモデルとマルチスペクトルモデルの両方が、入力アーキテクチャや融合アーキテクチャに関わらず、データ中毒攻撃に対して脆弱であることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T23:43:33Z)
• On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective [5.8010446129208155]
  本研究では,RemOve-And-Retrain(ROAR)手法の信頼性について検討した。 理論的基礎と実証的研究から得られた知見から、決定関数に関するより少ない情報を含む属性がROARベンチマークにおいて優れた結果をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-26T21:43:42Z)
• Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression [32.727673706238086]
  本稿では、因果的な観点から、敵の訓練を受けたネットワークにおける予期せぬ脆弱性を掘り下げる手法を提案する。 展開することで,不偏環境下での敵予測の因果関係を推定する。 その結果, 推定因果関係は, 正解率の正解率と高い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T08:18:22Z)
• Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
  ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。 本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。 本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
  論文  参考訳（メタデータ） (2022-07-25T13:45:11Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
  本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T10:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。