論文の概要: Understanding Robust Overfitting of Adversarial Training and Beyond

• arxiv url: http://arxiv.org/abs/2206.08675v1
• Date: Fri, 17 Jun 2022 10:25:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 23:13:39.457488
• Title: Understanding Robust Overfitting of Adversarial Training and Beyond
• Title（参考訳）: 敵対的訓練の強固な過剰フィットの理解
• Authors: Chaojian Yu, Bo Han, Li Shen, Jun Yu, Chen Gong, Mingming Gong, Tongliang Liu
• Abstract要約: 深層ネットワークの敵対的訓練において,強靭なオーバーフィッティングが広く存在することを示す。 自覚的損失制約付き対位訓練(MLCAT)を提案する。 ミニバッチでは、大容量データを通常通り学習し、小容量データの損失を増やすために追加の措置を採用する。
• 参考スコア（独自算出の注目度）: 103.37117541210348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust overfitting widely exists in adversarial training of deep networks. The exact underlying reasons for this are still not completely understood. Here, we explore the causes of robust overfitting by comparing the data distribution of \emph{non-overfit} (weak adversary) and \emph{overfitted} (strong adversary) adversarial training, and observe that the distribution of the adversarial data generated by weak adversary mainly contain small-loss data. However, the adversarial data generated by strong adversary is more diversely distributed on the large-loss data and the small-loss data. Given these observations, we further designed data ablation adversarial training and identify that some small-loss data which are not worthy of the adversary strength cause robust overfitting in the strong adversary mode. To relieve this issue, we propose \emph{minimum loss constrained adversarial training} (MLCAT): in a minibatch, we learn large-loss data as usual, and adopt additional measures to increase the loss of the small-loss data. Technically, MLCAT hinders data fitting when they become easy to learn to prevent robust overfitting; philosophically, MLCAT reflects the spirit of turning waste into treasure and making the best use of each adversarial data; algorithmically, we designed two realizations of MLCAT, and extensive experiments demonstrate that MLCAT can eliminate robust overfitting and further boost adversarial robustness.
• Abstract（参考訳）: 強固な過剰フィッティングは、ディープネットワークの敵対的トレーニングに広く存在する。 正確な理由はまだ完全には分かっていない。 本稿では, 弱敵が生成する逆データ分布が, 主に小損失データを含むことを観察し, 強敵(弱敵)と強敵(強敵)の学習データ分布を比較することにより, 強固な過剰フィッティングの原因を考察する。 しかし、強敵が生成する敵データは、大損失データと小損失データでより多様に分布する。 これらの結果を踏まえて,データアブレーション攻撃訓練を更に設計し,敵の強さに値しない小さな損失データの一部が強敵モードで強固な過剰フィットを引き起こすことを同定した。 この問題を解消するため,我々はMLCAT (emph{minimum loss constrained adversarial training}) を提案する。 技術的には、MLCATは、堅牢なオーバーフィッティングを回避し、学習しやすくなればデータの適合を阻害し、哲学的には、廃棄物を宝に換え、各逆データに最適に活用する精神を反映し、アルゴリズムにより、MLCATの2つの実現を設計し、MLCATが堅牢なオーバーフィッティングを排除し、さらに敵のロバスト性を高めることを実証した。

関連論文リスト

• Large-Scale Dataset Pruning in Adversarial Training through Data Importance Extrapolation [1.3124513975412255]
  本稿では,少数のデータ集合からより大きなデータ集合へのデータ重要度スコアの補間に基づく新たなデータ抽出戦略を提案する。 実験的な評価では,外挿型プルーニングは頑健性を維持しつつ,データセットサイズを効率的に削減できることを示した。
  論文  参考訳（メタデータ） (2024-06-19T07:23:51Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Boundary Adversarial Examples Against Adversarial Overfitting [4.391102490444538]
  敵の訓練アプローチは頑強なオーバーフィッティングに苦しむが、モデルがあまりに長く敵の訓練を受けると、頑健な精度が低下する。 強靭なオーバーフィッティングの効果を軽減するため, 早期停止, 時間的アンサンブル, 体重記憶などの緩和手法が提案されている。 本稿では,これらの緩和アプローチが相互に補完的であるかどうかを,対向訓練性能の向上のために検討する。
  論文  参考訳（メタデータ） (2022-11-25T13:16:53Z)
• Data Profiling for Adversarial Training: On the Ruin of Problematic Data [27.11328449349065]
  相手のトレーニングの問題は、堅牢な精度のトレードオフ、堅牢なオーバーフィッティング、グラデーションマスキングです。 これらの問題は、データセットの低品質サンプルという共通の原因を共有していることを示しています。 問題のあるデータが削除されると、ロバストなオーバーフィッティングと勾配マスキングがほとんど緩和される。
  論文  参考訳（メタデータ） (2021-02-15T10:17:24Z)
• Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning [51.15273664903583]
  データの不均一性は、フェデレートラーニングにおける重要な特徴の1つとして認識されているが、しばしば敵対的攻撃に対する堅牢性のレンズで見過ごされる。 本稿では, 複合学習におけるバックドア攻撃の影響を, 総合的な実験を通じて評価し, 理解することを目的とした。
  論文  参考訳（メタデータ） (2021-02-01T06:06:21Z)
• Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
  フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。 平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。 破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
  論文  参考訳（メタデータ） (2021-01-14T21:54:55Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。