論文の概要: Maintaining Adversarial Robustness in Continuous Learning

• arxiv url: http://arxiv.org/abs/2402.11196v2
• Date: Tue, 13 Aug 2024 15:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 22:55:00.561782
• Title: Maintaining Adversarial Robustness in Continuous Learning
• Title（参考訳）: 継続的学習における対人ロバストさの維持
• Authors: Xiaolei Ru, Xiaowei Cao, Zijia Liu, Jack Murdoch Moore, Xin-Ya Zhang, Xia Zhu, Wenjia Wei, Gang Yan,
• Abstract要約: 防衛アルゴリズムによって強化された敵の堅牢性は、ニューラルネットワークの重みが更新されて新しいタスクが学習されるため、容易に消去される。 本稿では,従来のデータから試料勾配を効果的に安定化させる新しい勾配予測手法を提案する。 この技術は、サンプル勾配平滑化による防御アルゴリズムのクラスと協調することにより、堅牢性を維持することができる。
• 参考スコア（独自算出の注目度）: 10.746120682014437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial robustness is essential for security and reliability of machine learning systems. However, adversarial robustness enhanced by defense algorithms is easily erased as the neural network's weights update to learn new tasks. To address this vulnerability, it is essential to improve the capability of neural networks in terms of robust continual learning. Specially, we propose a novel gradient projection technique that effectively stabilizes sample gradients from previous data by orthogonally projecting back-propagation gradients onto a crucial subspace before using them for weight updates. This technique can maintaining robustness by collaborating with a class of defense algorithms through sample gradient smoothing. The experimental results on four benchmarks including Split-CIFAR100 and Split-miniImageNet, demonstrate that the superiority of the proposed approach in mitigating rapidly degradation of robustness during continual learning even when facing strong adversarial attacks.
• Abstract（参考訳）: 機械学習システムのセキュリティと信頼性には、敵の堅牢性が不可欠である。 しかし、防御アルゴリズムによって強化された敵の堅牢性は、ニューラルネットワークの重みが更新されて新しいタスクが学習されるため、容易に消去される。 この脆弱性に対処するためには、堅牢な連続学習の観点からニューラルネットワークの能力を改善することが不可欠である。 具体的には、重み更新に使用する前に、バックプロパゲーション勾配を重要な部分空間に直交的に投影することにより、従来のデータからのサンプル勾配を効果的に安定化する新しい勾配予測手法を提案する。 この技術は、サンプル勾配平滑化による防御アルゴリズムのクラスと協調することにより、堅牢性を維持することができる。 Split-CIFAR100 や Split-mini ImageNet などの4つのベンチマークによる実験結果から,強い対向攻撃に直面した場合でも連続学習における頑健性の急速な低下を緩和する手法の優位性が示された。

関連論文リスト

• Improving Data-aware and Parameter-aware Robustness for Continual Learning [3.480626767752489]
  本報告では, オフラヤの非効率な取扱いから, この不整合が生じることを解析する。 本稿では,ロバスト連続学習(RCL)手法を提案する。 提案手法は, 堅牢性を効果的に維持し, 新たなSOTA(State-of-the-art)結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T11:21:26Z)
• Adversarial Robust Memory-Based Continual Learner [32.70573627856543]
  本研究では,新しい対向型頑健なメモリベース連続学習システムを提案する。 我々は, 限られた格納データによる勾配難読化を克服するために, 勾配に基づくデータ選択機構を考案した。 Split-CIFAR10/100 と Split-Tiny-ImageNet による実験では,敵データに対する最大8.13%の精度を実現し,本手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-11-29T13:05:20Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Boosting Adversarial Robustness using Feature Level Stochastic Smoothing [46.86097477465267]
  敵の防御は、ディープニューラルネットワークの堅牢性を大幅に向上させた。 本研究では,ネットワーク予測における導入性に関する一般的な手法を提案する。 また、信頼性の低い予測を拒否する意思決定の円滑化にも活用する。
  論文  参考訳（メタデータ） (2023-06-10T15:11:24Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
  本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。 シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T19:57:19Z)
• Robust Optimization Framework for Training Shallow Neural Networks Using Reachability Method [1.9798034349981157]
  ニューラルネットワークの到達可能性分析に基づいて、浅いニューラルネットワークをトレーニングする堅牢な最適化フレームワークを開発した。 開発したロバスト学習法は,トレーニング精度の損失に対して,摂動に対する堅牢性を向上できることを示した。
  論文  参考訳（メタデータ） (2021-07-27T13:16:20Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Second Order Optimization for Adversarial Robustness and Interpretability [6.700873164609009]
  本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。 正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。 それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
  論文  参考訳（メタデータ） (2020-09-10T15:05:14Z)
• Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
  Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。 予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。