論文の概要: MEAT: Median-Ensemble Adversarial Training for Improving Robustness and Generalization

• arxiv url: http://arxiv.org/abs/2406.14259v1
• Date: Thu, 20 Jun 2024 12:28:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 13:52:01.135800
• Title: MEAT: Median-Ensemble Adversarial Training for Improving Robustness and Generalization
• Title（参考訳）: MEAT:ロバスト性向上と一般化のためのメディアアンサンブル対人訓練
• Authors: Zhaozhe Hu, Jia-Li Yin, Bin Chen, Luojun Lin, Bo-Hao Chen, Ximeng Liu,
• Abstract要約: 自己アンサンブル対逆訓練法は、異なる訓練エポックにおけるモデルのアンサンブルにより、モデルロバスト性を改善する。 これまでの研究によると、対戦訓練(AT)における自己アンサンブル防御法は、未だに頑強なオーバーフィッティングに悩まされている。 本稿では,この問題を解決するために,操作が容易かつ効果的なメディア・アンサンブル・アドバイザリアル・トレーニング(MEAT)手法を提案する。
• 参考スコア（独自算出の注目度）: 38.445787290101826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-ensemble adversarial training methods improve model robustness by ensembling models at different training epochs, such as model weight averaging (WA). However, previous research has shown that self-ensemble defense methods in adversarial training (AT) still suffer from robust overfitting, which severely affects the generalization performance. Empirically, in the late phases of training, the AT becomes more overfitting to the extent that the individuals for weight averaging also suffer from overfitting and produce anomalous weight values, which causes the self-ensemble model to continue to undergo robust overfitting due to the failure in removing the weight anomalies. To solve this problem, we aim to tackle the influence of outliers in the weight space in this work and propose an easy-to-operate and effective Median-Ensemble Adversarial Training (MEAT) method to solve the robust overfitting phenomenon existing in self-ensemble defense from the source by searching for the median of the historical model weights. Experimental results show that MEAT achieves the best robustness against the powerful AutoAttack and can effectively allievate the robust overfitting. We further demonstrate that most defense methods can improve robust generalization and robustness by combining with MEAT.
• Abstract（参考訳）: 自己アンサンブル対逆訓練法は、モデルウェイト平均化(WA)など、異なる訓練エポックにおけるモデルのアンサンブルにより、モデルロバスト性を改善する。 しかし, 従来の研究では, 対人訓練(AT)における自己アンサンブル防御法は, 依然として頑健なオーバーフィッティングに悩まされており, 一般化性能に深刻な影響を及ぼすことが示されている。 経験的に、トレーニングの後期段階では、ATは重量平均値の個人が過度に適合し、異常な重量値を生み出す程度に過度に適合するようになり、その結果、自己アンサンブルモデルが重量異常の除去に失敗したため、頑健な過度なオーバーフィッティングを継続する。 この問題を解決するため,本研究では, 既往のモデル重みの中央値を求めることで, 自己アンサンブル防衛に存在する強靭な過適合現象を解決するための, 操作が容易かつ効果的なメディア・アンサンブル・アドバイザリ・トレーニング(MEAT)手法を提案する。 実験の結果,MEATは強力なAutoAttackに対して最高のロバスト性を達成し,ロバストなオーバーフィッティングを効果的に軽減できることがわかった。 さらに,ほとんどの防衛手法はMEATと組み合わせることで,ロバストな一般化とロバスト性を向上させることができることを示す。

関連論文リスト

• Module-wise Adaptive Adversarial Training for End-to-end Autonomous Driving [33.90341803416033]
  エンドツーエンドの自律運転モデルのためのモジュールワイド適応適応適応訓練(MA2T)を提案する。 本稿では,異なるモジュールが入力される前にノイズを注入するモジュールワイドノイズインジェクションについて紹介する。 また,各モジュールの損失重みを適応的に学習・調整するために,蓄積した重み変化を組み込んだ動的重み蓄積適応を導入する。
  論文  参考訳（メタデータ） (2024-09-11T15:00:18Z)
• The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
  我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。 FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。 実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
  論文  参考訳（メタデータ） (2024-02-18T23:14:40Z)
• Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
  我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。 私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
  論文  参考訳（メタデータ） (2024-01-09T04:33:03Z)
• PIAT: Parameter Interpolation based Adversarial Training for Image Classification [19.276850361815953]
  補間ベース・アドバイザリアル・トレーニング(PIAT)と呼ばれる新しいフレームワークを提案し,トレーニング中に過去の情報をフル活用する。 我々のフレームワークは汎用的であり、他の敵の訓練手法と組み合わせることで、より堅牢な精度を高めることができる。
  論文  参考訳（メタデータ） (2023-03-24T12:22:34Z)
• Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
  対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。 強靭性は特定の段階で急激に低下し、常にATの間に存在する。 半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
  論文  参考訳（メタデータ） (2022-05-24T03:18:43Z)
• Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
  敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。 最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。 我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
  論文  参考訳（メタデータ） (2022-03-18T01:12:18Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)
• Voting based ensemble improves robustness of defensive models [82.70303474487105]
  我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。 最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
  論文  参考訳（メタデータ） (2020-11-28T00:08:45Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。