Fugu-MT 論文翻訳(概要): The Effectiveness of Random Forgetting for Robust Generalization

論文の概要: The Effectiveness of Random Forgetting for Robust Generalization

arxiv url: http://arxiv.org/abs/2402.11733v1
Date: Sun, 18 Feb 2024 23:14:40 GMT
ステータス: 処理完了
システム内更新日: 2024-02-20 19:20:27.793653
Title: The Effectiveness of Random Forgetting for Robust Generalization
Title（参考訳）: ロバスト一般化におけるランダムフォーミングの有効性
Authors: Vijaya Raghavan T Ramkumar, Bahram Zonooz and Elahe Arani
Abstract要約: 我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。 FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
参考スコア（独自算出の注目度）: 21.163070161951868
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Deep neural networks are susceptible to adversarial attacks, which can compromise their performance and accuracy. Adversarial Training (AT) has emerged as a popular approach for protecting neural networks against such attacks. However, a key challenge of AT is robust overfitting, where the network's robust performance on test data deteriorates with further training, thus hindering generalization. Motivated by the concept of active forgetting in the brain, we introduce a novel learning paradigm called "Forget to Mitigate Overfitting (FOMO)". FOMO alternates between the forgetting phase, which randomly forgets a subset of weights and regulates the model's information through weight reinitialization, and the relearning phase, which emphasizes learning generalizable features. Our experiments on benchmark datasets and adversarial attacks show that FOMO alleviates robust overfitting by significantly reducing the gap between the best and last robust test accuracy while improving the state-of-the-art robustness. Furthermore, FOMO provides a better trade-off between standard and robust accuracy, outperforming baseline adversarial methods. Finally, our framework is robust to AutoAttacks and increases generalization in many real-world scenarios.
Abstract（参考訳）: ディープニューラルネットワークは、敵攻撃の影響を受けやすいため、パフォーマンスと精度を損なう可能性がある。敵訓練(AT)は、そのような攻撃からニューラルネットワークを保護する一般的なアプローチとして現れている。しかし、ATの重要な課題は、テストデータに対するネットワークの堅牢な性能がさらなるトレーニングで悪化し、一般化を阻害する、堅牢なオーバーフィッティングである。脳における能動的忘れるという概念に動機づけられ、我々は新しい学習パラダイム"forget to ease overfitting (fomo)"を導入した。 FOMOは、重みのサブセットをランダムに忘れ、重みの再初期化を通じてモデルの情報を規制する忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。ベンチマークデータセットと敵攻撃による実験により、FOMOは、最先端のロバスト性を改善しつつ、最良のテストと最後のロバストテストの精度のギャップを大幅に減らし、ロバストなオーバーフィッティングを緩和することが示された。さらに、FOMOは標準とロバストな精度のトレードオフを向上し、ベースラインの対角法よりも優れている。最後に、我々のフレームワークはAutoAttacksに対して堅牢であり、多くの実世界のシナリオにおける一般化を高めます。

関連論文リスト

Dynamic Perturbation-Adaptive Adversarial Training on Medical Image Classification [9.039586043401972]
敵の例(AE)は生データと知覚不可能な類似性を示し、ネットワークの堅牢性に対する深刻な懸念を提起した。本稿では,ATを動的学習環境に配置し,適応型データレベルの摂動を生成する動的摂動適応対向訓練(DPAAT)手法を提案する。 HAM10000データセットの総合的な試験により、DPAATはより堅牢性の向上と一般化保存を達成できただけでなく、平均精度と解釈可能性を大幅に向上した。
論文参考訳（メタデータ） (2024-03-11T15:16:20Z)
Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-08-01T06:16:18Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。強靭性は特定の段階で急激に低下し、常にATの間に存在する。半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
論文参考訳（メタデータ） (2022-05-24T03:18:43Z)
Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文参考訳（メタデータ） (2022-03-18T01:12:18Z)
Interpolated Joint Space Adversarial Training for Robust and Generalizable Defenses [82.3052187788609]
敵の訓練(AT)は、敵の攻撃に対する最も信頼できる防御の1つと考えられている。近年の研究では、新たな脅威モデルの下での対向サンプルによる一般化の改善が示されている。我々は、JSTM(Joint Space Threat Model)と呼ばれる新しい脅威モデルを提案する。 JSTMでは,新たな敵攻撃・防衛手法が開発されている。
論文参考訳（メタデータ） (2021-12-12T21:08:14Z)
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文参考訳（メタデータ） (2021-10-13T13:54:24Z)
Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文参考訳（メタデータ） (2021-05-31T17:01:05Z)
Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文参考訳（メタデータ） (2021-02-23T20:59:30Z)
Adversarial Vertex Mixup: Toward Better Adversarially Robust Generalization [28.072758856453106]
逆の例は、ニューラルネットワークに高い信頼性で誤った出力を発生させる。我々は、敵対的訓練が、強固な一般化の観点から最適点をオーバーシュートし、AFO(Adversarial Feature Overfitting)につながることを示す。本稿では,ソフトラベル付きデータ拡張手法としてAdversarial Vertex Mixup (AVmixup)を提案する。
論文参考訳（メタデータ） (2020-03-05T08:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。