論文の概要: Boundary Adversarial Examples Against Adversarial Overfitting
- arxiv url: http://arxiv.org/abs/2211.14088v1
- Date: Fri, 25 Nov 2022 13:16:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 17:49:05.137390
- Title: Boundary Adversarial Examples Against Adversarial Overfitting
- Title（参考訳）: 対人オーバーフィッティングに対する境界逆例
- Authors: Muhammad Zaid Hameed, Beat Buesser
- Abstract要約: 敵の訓練アプローチは頑強なオーバーフィッティングに苦しむが、モデルがあまりに長く敵の訓練を受けると、頑健な精度が低下する。
強靭なオーバーフィッティングの効果を軽減するため, 早期停止, 時間的アンサンブル, 体重記憶などの緩和手法が提案されている。
本稿では,これらの緩和アプローチが相互に補完的であるかどうかを,対向訓練性能の向上のために検討する。
- 参考スコア（独自算出の注目度）: 4.391102490444538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard adversarial training approaches suffer from robust overfitting where
the robust accuracy decreases when models are adversarially trained for too
long. The origin of this problem is still unclear and conflicting explanations
have been reported, i.e., memorization effects induced by large loss data or
because of small loss data and growing differences in loss distribution of
training samples as the adversarial training progresses. Consequently, several
mitigation approaches including early stopping, temporal ensembling and weight
perturbations on small loss data have been proposed to mitigate the effect of
robust overfitting. However, a side effect of these strategies is a larger
reduction in clean accuracy compared to standard adversarial training. In this
paper, we investigate if these mitigation approaches are complimentary to each
other in improving adversarial training performance. We further propose the use
of helper adversarial examples that can be obtained with minimal cost in the
adversarial example generation, and show how they increase the clean accuracy
in the existing approaches without compromising the robust accuracy.
- Abstract（参考訳）: 標準の敵のトレーニングアプローチは強固な過剰フィッティングに苦しめられ、モデルがあまりに長く敵の訓練を受けると、堅牢な正確さが低下する。
この問題の発端はいまだ不明であり、大きな損失データや小さな損失データによる記憶効果や、敵の訓練が進むにつれてトレーニングサンプルの損失分布の違いの増加など、相反する説明が報告されている。
その結果, 低損失データに対する早期停止, 時間感覚, 重みの摂動などの緩和手法が提案されている。
しかし、これらの戦略の副作用は、標準的な対人訓練に比べてクリーンな精度の低下である。
本稿では,これらの緩和アプローチが相互に補完的であるかどうかを,対向訓練性能の向上のために検討する。
さらに,実例生成に必要最小限のコストで得られるヘルパー逆例の使用を提案し,ロバストな精度を損なうことなく,既存手法のクリーンな精度を向上させる方法を示す。
関連論文リスト
- Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - DSRM: Boost Textual Adversarial Training with Distribution Shift Risk
Minimization [36.10642858867033]
敵対的訓練は、ディープ言語モデルの堅牢性を改善するための最も優れた方法の1つである。
クリーンなデータのみを用いて対人訓練を行う新しい効果的な方法を提案する。
本手法では, 学習にゼロ対向検定が必要であり, 現行の対向検定法と比較して, 時間消費を最大70%削減する。
論文 参考訳（メタデータ） (2023-06-27T02:46:08Z) - Understanding and Combating Robust Overfitting via Input Loss Landscape
Analysis and Regularization [5.1024659285813785]
アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。
標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。
対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
論文 参考訳（メタデータ） (2022-12-09T16:55:30Z) - Efficient Adversarial Training With Data Pruning [26.842714298874192]
我々は,データプルーニングが,対人訓練の収束と信頼性の向上につながることを示す。
一部の設定では、データのプルーニングは両方の世界の利点をもたらします。
論文 参考訳（メタデータ） (2022-07-01T23:54:46Z) - Understanding Robust Overfitting of Adversarial Training and Beyond [103.37117541210348]
深層ネットワークの敵対的訓練において,強靭なオーバーフィッティングが広く存在することを示す。
自覚的損失制約付き対位訓練(MLCAT)を提案する。
ミニバッチでは、大容量データを通常通り学習し、小容量データの損失を増やすために追加の措置を採用する。
論文 参考訳（メタデータ） (2022-06-17T10:25:17Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳（メタデータ） (2021-09-12T23:14:06Z) - Adaptive perturbation adversarial training: based on reinforcement
learning [9.563820241076103]
対人訓練の欠点の1つは、通常のサンプルの認識精度を低下させることである。
この問題を緩和するため,適応的対人訓練が提案されている。
決定境界に近いが、敵の訓練のために決定境界を越えていない辺境の敵のサンプルを使用する。
論文 参考訳（メタデータ） (2021-08-30T13:49:55Z) - Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。
プレプロセス法は、ロバストネス劣化効果に悩まされることがある。
この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。
本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
論文 参考訳（メタデータ） (2021-06-10T01:45:32Z) - Understanding Catastrophic Overfitting in Single-step Adversarial
Training [9.560980936110234]
カタストロフィックオーバーフィッティング (catastrophic overfitting) とは, 急激な急激な急激な急激な勾配降下に対する頑健な精度が急激な0%にまで低下する現象である。
本稿では,破滅的なオーバーフィッティングを防止するだけでなく,一段階の逆行訓練による多段階の逆行攻撃を防ぐことが難しいという信念を覆す,簡単な方法を提案する。
論文 参考訳（メタデータ） (2020-10-05T06:13:35Z) - On the Loss Landscape of Adversarial Training: Identifying Challenges
and How to Overcome Them [57.957466608543676]
機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。
曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
論文 参考訳（メタデータ） (2020-06-15T13:50:23Z) - Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。
我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
論文 参考訳（メタデータ） (2020-02-24T19:01:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。