論文の概要: Balance, Imbalance, and Rebalance: Understanding Robust Overfitting from a Minimax Game Perspective

• arxiv url: http://arxiv.org/abs/2310.19360v1
• Date: Mon, 30 Oct 2023 09:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 21:12:22.954952
• Title: Balance, Imbalance, and Rebalance: Understanding Robust Overfitting from a Minimax Game Perspective
• Title（参考訳）: バランス、不均衡、リバランス:minimaxゲームの観点からのロバストオーバーフィットの理解
• Authors: Yifei Wang, Liangchen Li, Jiansheng Yang, Zhouchen Lin, Yisen Wang
• Abstract要約: 敵対的訓練(AT)はおそらく、頑健な特徴を抽出するための最先端のアルゴリズムである。 ATは、特に学習率(LR)が崩壊した後、深刻な強固な過適合問題に悩まされる。 我々は, LR崩壊が, より強い記憶能力でトレーナーに力を与えることにより, ミニマックスゲーム間のバランスを損なうことを示す。
• 参考スコア（独自算出の注目度）: 80.51463286812314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial Training (AT) has become arguably the state-of-the-art algorithm for extracting robust features. However, researchers recently notice that AT suffers from severe robust overfitting problems, particularly after learning rate (LR) decay. In this paper, we explain this phenomenon by viewing adversarial training as a dynamic minimax game between the model trainer and the attacker. Specifically, we analyze how LR decay breaks the balance between the minimax game by empowering the trainer with a stronger memorization ability, and show such imbalance induces robust overfitting as a result of memorizing non-robust features. We validate this understanding with extensive experiments, and provide a holistic view of robust overfitting from the dynamics of both the two game players. This understanding further inspires us to alleviate robust overfitting by rebalancing the two players by either regularizing the trainer's capacity or improving the attack strength. Experiments show that the proposed ReBalanced Adversarial Training (ReBAT) can attain good robustness and does not suffer from robust overfitting even after very long training. Code is available at https://github.com/PKU-ML/ReBAT.
• Abstract（参考訳）: 敵対的訓練(AT)はおそらく、頑健な特徴を抽出するための最先端のアルゴリズムである。 しかし、最近の研究者はATが特に学習率(LR)が崩壊した後、深刻な過適合問題に悩まされていることに気づいた。 本稿では,モデルトレーナーと攻撃者の間の動的ミニマックスゲームとして,敵対的トレーニングを見て,この現象を説明する。 具体的には, LR崩壊がトレーナーに強い記憶能力を与えることでミニマックスゲーム間のバランスを損なうかを分析し, 非破壊的特徴を記憶した結果, 強靭なオーバーフィッティングを引き起こすことを示す。 この理解を広範囲な実験で検証し、2人のゲームプレーヤーのダイナミクスから強固なオーバーフィットの全体像を提供する。 この理解は、トレーナーの能力の正規化や攻撃強度の向上によって、2人のプレイヤーを再バランスさせることで、堅牢なオーバーフィッティングを緩和するきっかけとなる。 実験により、提案したReBalanced Adversarial Training (ReBAT) は、非常に長い訓練の後でも、頑健なオーバーフィッティングに苦しむことはないことが示された。 コードはhttps://github.com/PKU-ML/ReBAT.comで入手できる。

関連論文リスト

• Randomized Adversarial Training via Taylor Expansion [18.54106339075049]
  そこで我々は,小さなガウス雑音のテイラー展開による新しい対向訓練法を提案する。 新たな対角訓練法は,損失景観を平らにし,平らなミニマを見つけることができることを示す。 PGD、CW、オートアタックでは、我々の手法が堅牢性とクリーンな精度の両方を向上することを示した。
  論文  参考訳（メタデータ） (2023-03-19T13:30:33Z)
• Nash Equilibria and Pitfalls of Adversarial Training in Adversarial Robustness Games [51.90475640044073]
  本研究では,2プレイヤゼロサムゲームにおける最適応答戦略の交互化として,対戦訓練について検討する。 一方、ゲームのユニークな純粋なナッシュ均衡が存在し、確実に堅牢である。
  論文  参考訳（メタデータ） (2022-10-23T03:21:01Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Imbalanced Adversarial Training with Reweighting [33.51820466479575]
  学習データセットが不均衡である場合、逆向きに訓練されたモデルは、表現不足のクラスでは、はるかにパフォーマンスが悪くなる可能性があることを示す。 従来の再重み付け戦略は、敵の訓練の不均衡問題に対処する効果を失う可能性がある。 本研究では,不均衡シナリオ下での対人訓練を容易にするために,SRAT(Separable Reweighted Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2021-07-28T20:51:36Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Towards Understanding Fast Adversarial Training [91.8060431517248]
  高速対人訓練の振る舞いを理解するために実験を行う。 その成功の鍵は、過度な適合から弱い攻撃への回復能力である。
  論文  参考訳（メタデータ） (2020-06-04T18:19:43Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。