論文の概要: Robust Weight Perturbation for Adversarial Training

• arxiv url: http://arxiv.org/abs/2205.14826v1
• Date: Mon, 30 May 2022 03:07:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 08:37:15.533882
• Title: Robust Weight Perturbation for Adversarial Training
• Title（参考訳）: 対人訓練におけるロバスト重量摂動
• Authors: Chaojian Yu, Bo Han, Mingming Gong, Li Shen, Shiming Ge, Bo Du, Tongliang Liu
• Abstract要約: オーバーフィッティングは、ディープネットワークの敵の堅牢なトレーニングにおいて広く存在する。 対向重み摂動は、堅牢な一般化ギャップを減らすのに役立つ。 重量摂動を規制する基準は、敵の訓練に不可欠である。
• 参考スコア（独自算出の注目度）: 112.57295738113939
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overfitting widely exists in adversarial robust training of deep networks. An effective remedy is adversarial weight perturbation, which injects the worst-case weight perturbation during network training by maximizing the classification loss on adversarial examples. Adversarial weight perturbation helps reduce the robust generalization gap; however, it also undermines the robustness improvement. A criterion that regulates the weight perturbation is therefore crucial for adversarial training. In this paper, we propose such a criterion, namely Loss Stationary Condition (LSC) for constrained perturbation. With LSC, we find that it is essential to conduct weight perturbation on adversarial data with small classification loss to eliminate robust overfitting. Weight perturbation on adversarial data with large classification loss is not necessary and may even lead to poor robustness. Based on these observations, we propose a robust perturbation strategy to constrain the extent of weight perturbation. The perturbation strategy prevents deep networks from overfitting while avoiding the side effect of excessive weight perturbation, significantly improving the robustness of adversarial training. Extensive experiments demonstrate the superiority of the proposed method over the state-of-the-art adversarial training methods.
• Abstract（参考訳）: オーバーフィッティングは、ディープネットワークの敵対的ロバストなトレーニングに広く存在する。 効果的な治療は、逆例の分類損失を最大化することにより、ネットワークトレーニング中に最悪の場合の重み摂動を注入する逆重摂動である。 対向重み摂動は、ロバストな一般化ギャップを減らすのに役立つが、ロバストさの改善を損なう。 したがって、重量摂動を規制する基準は、敵の訓練に不可欠である。 本稿では,制約摂動に対するロス定常条件(LSC)を提案する。 LSCでは,頑健なオーバーフィッティングをなくすために,分類損失の少ない敵データに対して重み摂動を行うことが重要である。 分類損失が大きい対向データに対する重みの摂動は不要であり、強固さを損なうこともある。 これらの観測に基づいて, 重みの摂動の程度を制限するロバストな摂動戦略を提案する。 摂動戦略は、過剰な重量摂動の副作用を回避しつつ、深層ネットワークの過度な適合を防止し、敵の訓練の堅牢性を大幅に向上させる。 実験により,提案手法が最先端の対人訓練法よりも優れていることを示す。

関連論文リスト

• Fast Adversarial Training with Smooth Convergence [51.996943482875366]
  我々は,FAT(Fast Adversarial Training)作業のトレーニングプロセスを分析し,破滅的なオーバーフィッティングが損失収束アウトリーの出現に伴うことを観察した。 円滑な損失収束過程を実現するために,隣接するエポック間の損失差を制限する新しい振動制約(Dubed ConvergeSmooth)を提案する。 提案手法は攻撃非依存であり,様々なFAT技術の訓練安定性を向上させることができる。
  論文  参考訳（メタデータ） (2023-08-24T15:28:52Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Boundary Adversarial Examples Against Adversarial Overfitting [4.391102490444538]
  敵の訓練アプローチは頑強なオーバーフィッティングに苦しむが、モデルがあまりに長く敵の訓練を受けると、頑健な精度が低下する。 強靭なオーバーフィッティングの効果を軽減するため, 早期停止, 時間的アンサンブル, 体重記憶などの緩和手法が提案されている。 本稿では,これらの緩和アプローチが相互に補完的であるかどうかを,対向訓練性能の向上のために検討する。
  論文  参考訳（メタデータ） (2022-11-25T13:16:53Z)
• Strength-Adaptive Adversarial Training [103.28849734224235]
  対戦訓練(AT)は、敵データに対するネットワークの堅牢性を確実に改善することが証明されている。 所定の摂動予算を持つ現在のATは、堅牢なネットワークの学習に制限がある。 本稿では,これらの制限を克服するために,emphStrength-Adaptive Adversarial Training (SAAT)を提案する。
  論文  参考訳（メタデータ） (2022-10-04T00:22:37Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Adversarial Weight Perturbation Helps Robust Generalization [65.68598525492666]
  敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善する最も有望な方法である。 本研究は, 対人訓練において, 広く使用されている減量景観(重量に対する空間変化)が果たす効果を示す。 本稿では, 重量減少景観の平坦性を明確に調整するための, 単純かつ効果的な対向重み摂動(AWP)を提案する。
  論文  参考訳（メタデータ） (2020-04-13T12:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。