論文の概要: Adversarial Weight Perturbation Helps Robust Generalization

• arxiv url: http://arxiv.org/abs/2004.05884v2
• Date: Tue, 13 Oct 2020 13:46:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 23:08:21.782465
• Title: Adversarial Weight Perturbation Helps Robust Generalization
• Title（参考訳）: 対向重み摂動はロバストな一般化に役立つ
• Authors: Dongxian Wu, Shu-tao Xia, Yisen Wang
• Abstract要約: 敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善する最も有望な方法である。 本研究は, 対人訓練において, 広く使用されている減量景観(重量に対する空間変化)が果たす効果を示す。 本稿では, 重量減少景観の平坦性を明確に調整するための, 単純かつ効果的な対向重み摂動(AWP)を提案する。
• 参考スコア（独自算出の注目度）: 65.68598525492666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The study on improving the robustness of deep neural networks against adversarial examples grows rapidly in recent years. Among them, adversarial training is the most promising one, which flattens the input loss landscape (loss change with respect to input) via training on adversarially perturbed examples. However, how the widely used weight loss landscape (loss change with respect to weight) performs in adversarial training is rarely explored. In this paper, we investigate the weight loss landscape from a new perspective, and identify a clear correlation between the flatness of weight loss landscape and robust generalization gap. Several well-recognized adversarial training improvements, such as early stopping, designing new objective functions, or leveraging unlabeled data, all implicitly flatten the weight loss landscape. Based on these observations, we propose a simple yet effective Adversarial Weight Perturbation (AWP) to explicitly regularize the flatness of weight loss landscape, forming a double-perturbation mechanism in the adversarial training framework that adversarially perturbs both inputs and weights. Extensive experiments demonstrate that AWP indeed brings flatter weight loss landscape and can be easily incorporated into various existing adversarial training methods to further boost their adversarial robustness.
• Abstract（参考訳）: 近年, 敵対例に対するディープニューラルネットワークの堅牢性向上に関する研究が急速に進んでいる。 中でも最も有望なのが敵意トレーニングであり、敵意に乱れた例のトレーニングを通じて入力損失の状況(入力に対する変化が失われる)をフラットにする。 しかし、相手のトレーニングにおいて広く使われている減量風景(重量に対する損失変化)がどのように機能するかは、めったに研究されていない。 本稿では,新しい視点から減量景観を考察し,減量景観の平坦性と強固な一般化ギャップとの明確な相関関係を明らかにする。 早期停止、新しい目的関数の設計、ラベルなしデータの活用など、よく認識された敵の訓練の改善は、いずれも減量景観を暗黙的にフラットにする。 そこで,本研究では,重みの平らさを明示的に定式化するための簡易かつ効果的な逆重み摂動 (awp) を提案し,入力と重みの両方を逆に摂動させる逆訓練枠組みにおいて二重摂動機構を形成する。 大規模な実験により、AWPは確かにより平坦な減量景観をもたらし、既存の様々な対向訓練手法に容易に組み込むことができ、対向的堅牢性をさらに向上させることができることが示されている。

関連論文リスト

• Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective [61.38753850236804]
  高速対人訓練 (FAT) は, 効率的な訓練を行うために提案され, 熱い研究課題となっている。 FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 本稿では, FATにおける内的最適化と外的最適化のバランスが不均衡であることから, 破滅的なオーバーフィッティングが原因であることが確認された FAT の分類例を示す。
  論文  参考訳（メタデータ） (2024-07-22T03:56:27Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Boundary Adversarial Examples Against Adversarial Overfitting [4.391102490444538]
  敵の訓練アプローチは頑強なオーバーフィッティングに苦しむが、モデルがあまりに長く敵の訓練を受けると、頑健な精度が低下する。 強靭なオーバーフィッティングの効果を軽減するため, 早期停止, 時間的アンサンブル, 体重記憶などの緩和手法が提案されている。 本稿では,これらの緩和アプローチが相互に補完的であるかどうかを,対向訓練性能の向上のために検討する。
  論文  参考訳（メタデータ） (2022-11-25T13:16:53Z)
• Robust Weight Perturbation for Adversarial Training [112.57295738113939]
  オーバーフィッティングは、ディープネットワークの敵の堅牢なトレーニングにおいて広く存在する。 対向重み摂動は、堅牢な一般化ギャップを減らすのに役立つ。 重量摂動を規制する基準は、敵の訓練に不可欠である。
  論文  参考訳（メタデータ） (2022-05-30T03:07:14Z)
• Relating Adversarially Robust Generalization to Flat Minima [138.59125287276194]
  対戦訓練(AT)は、敵の例に対して堅牢なモデルを得るためのデファクトスタンダードとなっている。 重み空間におけるロバスト一般化とロバスト損失景観の平坦性の関係について検討した。
  論文  参考訳（メタデータ） (2021-04-09T15:55:01Z)
• Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression [45.34758512755516]
  敵の例に対して頑健なモデルを学習するために、敵の訓練が活発に研究されている。 最近の研究では、逆向きに訓練されたモデルが、減量風景が鋭い場合、逆向きの例で性能を劣化させることがわかった。 この現象を理論的に解析する。
  論文  参考訳（メタデータ） (2021-02-05T01:31:01Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。