論文の概要: Adversarial Robust Memory-Based Continual Learner

• arxiv url: http://arxiv.org/abs/2311.17608v1
• Date: Wed, 29 Nov 2023 13:05:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 21:20:01.052911
• Title: Adversarial Robust Memory-Based Continual Learner
• Title（参考訳）: 逆ロバスト記憶に基づく連続学習者
• Authors: Xiaoyue Mi, Fan Tang, Zonghan Yang, Danding Wang, Juan Cao, Peng Li, Yang Liu
• Abstract要約: 本研究では,新しい対向型頑健なメモリベース連続学習システムを提案する。 我々は, 限られた格納データによる勾配難読化を克服するために, 勾配に基づくデータ選択機構を考案した。 Split-CIFAR10/100 と Split-Tiny-ImageNet による実験では,敵データに対する最大8.13%の精度を実現し,本手法の有効性を示した。
• 参考スコア（独自算出の注目度）: 32.70573627856543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable advances that have been made in continual learning, the adversarial vulnerability of such methods has not been fully discussed. We delve into the adversarial robustness of memory-based continual learning algorithms and observe limited robustness improvement by directly applying adversarial training techniques. Preliminary studies reveal the twin challenges for building adversarial robust continual learners: accelerated forgetting in continual learning and gradient obfuscation in adversarial robustness. In this study, we put forward a novel adversarial robust memory-based continual learner that adjusts data logits to mitigate the forgetting of pasts caused by adversarial samples. Furthermore, we devise a gradient-based data selection mechanism to overcome the gradient obfuscation caused by limited stored data. The proposed approach can widely integrate with existing memory-based continual learning as well as adversarial training algorithms in a plug-and-play way. Extensive experiments on Split-CIFAR10/100 and Split-Tiny-ImageNet demonstrate the effectiveness of our approach, achieving up to 8.13% higher accuracy for adversarial data.
• Abstract（参考訳）: 連続学習における顕著な進歩にもかかわらず、そのような手法の敵対的脆弱性は十分に議論されていない。 我々は,メモリベース連続学習アルゴリズムの対角強靭性を探求し,対向的学習手法を直接適用することにより,限られた頑健性向上を観察する。 予備研究により、相反するロバストな連続学習者を構築するための2つの課題が明らかになった。 本研究では,データロジットを調整し,対数サンプルによる過去の記憶を緩和する,新たな対数ロバストなメモリベース連続学習手法を提案する。 さらに,限られたデータによる勾配難読化を克服するために,勾配に基づくデータ選択機構を考案した。 提案手法は,既存のメモリベース連続学習と相反する学習アルゴリズムをプラグ・アンド・プレイ方式で統合することができる。 split-cifar10/100 と split-tiny-imagenet の広範な実験により,本手法の有効性が示され,敵データに対する精度が最大8.13%向上した。

関連論文リスト

• Maintaining Adversarial Robustness in Continuous Learning [10.746120682014437]
  防衛アルゴリズムによって強化された敵の堅牢性は、ニューラルネットワークの重みが更新されて新しいタスクが学習されるため、容易に消去される。 本稿では,従来のデータから試料勾配を効果的に安定化させる新しい勾配予測手法を提案する。 この技術は、サンプル勾配平滑化による防御アルゴリズムのクラスと協調することにより、堅牢性を維持することができる。
  論文  参考訳（メタデータ） (2024-02-17T05:14:47Z)
• Class Incremental Learning for Adversarial Robustness [17.06592851567578]
  アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。 直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。 本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
  論文  参考訳（メタデータ） (2023-12-06T04:38:02Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Adversarial Training Should Be Cast as a Non-Zero-Sum Game [121.95628660889628]
  対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。 敵のトレーニングアルゴリズムでよく使われるサロゲートベースの緩和は、ロバスト性に関するすべての保証を無効にすることを示す。 対人訓練の新たな非ゼロサム二段階の定式化は、一致し、場合によっては最先端の攻撃よりも優れたフレームワークをもたらす。
  論文  参考訳（メタデータ） (2023-06-19T16:00:48Z)
• Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training [2.538209532048867]
  本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。 本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。 我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
  論文  参考訳（メタデータ） (2022-03-16T21:41:27Z)
• Learning to Learn Transferable Attack [77.67399621530052]
  転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。 本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。 提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
  論文  参考訳（メタデータ） (2021-12-10T07:24:21Z)
• Where Did You Learn That From? Surprising Effectiveness of Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning [114.9857000195174]
  深い強化学習を産業的に広く採用する上での大きな課題は、プライバシー侵害の潜在的な脆弱性である。 本稿では, 深層強化学習アルゴリズムの脆弱性を検証し, メンバーシップ推論攻撃に適応する対戦型攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-08T23:44:57Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。