論文の概要: Understanding Robust Overfitting from the Feature Generalization Perspective

• arxiv url: http://arxiv.org/abs/2310.00607v2
• Date: Mon, 29 Jul 2024 05:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 00:46:55.578275
• Title: Understanding Robust Overfitting from the Feature Generalization Perspective
• Title（参考訳）: 機能一般化の観点からのロバストなオーバーフィッティングを理解する
• Authors: Chaojian Yu, Xiaolong Shi, Jun Yu, Bo Han, Tongliang Liu,
• Abstract要約: 逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
• 参考スコア（独自算出の注目度）: 61.770805867606796
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Adversarial training (AT) constructs robust neural networks by incorporating adversarial perturbations into natural data. However, it is plagued by the issue of robust overfitting (RO), which severely damages the model's robustness. In this paper, we investigate RO from a novel feature generalization perspective. Specifically, we design factor ablation experiments to assess the respective impacts of natural data and adversarial perturbations on RO, identifying that the inducing factor of RO stems from natural data. Given that the only difference between adversarial and natural training lies in the inclusion of adversarial perturbations, we further hypothesize that adversarial perturbations degrade the generalization of features in natural data and verify this hypothesis through extensive experiments. Based on these findings, we provide a holistic view of RO from the feature generalization perspective and explain various empirical behaviors associated with RO. To examine our feature generalization perspective, we devise two representative methods, attack strength and data augmentation, to prevent the feature generalization degradation during AT. Extensive experiments conducted on benchmark datasets demonstrate that the proposed methods can effectively mitigate RO and enhance adversarial robustness.
• Abstract（参考訳）: 逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 しかし、ロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。 具体的には,自然データに対する各要因のアブレーション実験を設計し,その要因が自然データに由来することを確認した。 逆境と自然学習の唯一の違いが逆境の摂動の内包であることを考えると、逆境の摂動は自然データの特徴の一般化を低下させ、この仮説を広範な実験を通じて検証する。 これらの知見に基づき,特徴一般化の観点からROの全体像を示し,ROに関連する様々な経験的行動を説明する。 特徴一般化の観点を検討するため,ATにおける特徴一般化の劣化を防止するために,攻撃強度とデータ拡張という2つの代表的な手法を考案した。 ベンチマークデータセット上で行った大規模な実験により,提案手法はROを効果的に緩和し,対向ロバスト性を高めることができることが示された。

関連論文リスト

• Understanding Adversarially Robust Generalization via Weight-Curvature Index [3.096869664709865]
  We propose a novel perspective to decipherally robust generalization through the Lens of the Weight-Curvature Index (WCI)。 提案したWCIは、重量行列のフロベニウスノルムとヘッセン行列のトレースを用いて、逆摂動に対するモデルの脆弱性を定量化する。 私たちの研究は、よりレジリエントなディープラーニングモデルを設計し、信頼性とセキュリティを高める上で、重要な洞察を提供します。
  論文  参考訳（メタデータ） (2024-10-10T08:34:43Z)
• Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement [61.048842737581865]
  逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。 特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。 3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
  論文  参考訳（メタデータ） (2024-01-26T08:38:57Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Quantifying the robustness of deep multispectral segmentation models against natural perturbations and data poisoning [0.0]
  対向攻撃と自然摂動を受けるマルチスペクトル(RGBおよび近赤外線)画像分割モデルの性能とロバスト性を特徴付ける。 RGBモデルとマルチスペクトルモデルの両方が、入力アーキテクチャや融合アーキテクチャに関わらず、データ中毒攻撃に対して脆弱であることがわかった。
  論文  参考訳（メタデータ） (2023-05-18T23:43:33Z)
• On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective [5.8010446129208155]
  本研究では,RemOve-And-Retrain(ROAR)手法の信頼性について検討した。 理論的基礎と実証的研究から得られた知見から、決定関数に関するより少ない情報を含む属性がROARベンチマークにおいて優れた結果をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-26T21:43:42Z)
• Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression [32.727673706238086]
  本稿では、因果的な観点から、敵の訓練を受けたネットワークにおける予期せぬ脆弱性を掘り下げる手法を提案する。 展開することで,不偏環境下での敵予測の因果関係を推定する。 その結果, 推定因果関係は, 正解率の正解率と高い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T08:18:22Z)
• Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
  ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。 本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。 本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
  論文  参考訳（メタデータ） (2022-07-25T13:45:11Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
  本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T10:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。