論文の概要: Class Incremental Learning for Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2312.03289v1
- Date: Wed, 6 Dec 2023 04:38:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 16:06:37.899413
- Title: Class Incremental Learning for Adversarial Robustness
- Title（参考訳）: 対人ロバストネスのためのクラスインクリメンタルラーニング
- Authors: Seungju Cho, Hongshin Lee, Changick Kim
- Abstract要約: アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。
直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。
本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
- 参考スコア（独自算出の注目度）: 17.06592851567578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training integrates adversarial examples during model training to
enhance robustness. However, its application in fixed dataset settings differs
from real-world dynamics, where data accumulates incrementally. In this study,
we investigate Adversarially Robust Class Incremental Learning (ARCIL), a
method that combines adversarial robustness with incremental learning. We
observe that combining incremental learning with naive adversarial training
easily leads to a loss of robustness. We discover that this is attributed to
the disappearance of the flatness of the loss function, a characteristic of
adversarial training. To address this issue, we propose the Flatness Preserving
Distillation (FPD) loss that leverages the output difference between
adversarial and clean examples. Additionally, we introduce the Logit Adjustment
Distillation (LAD) loss, which adapts the model's knowledge to perform well on
new tasks. Experimental results demonstrate the superiority of our method over
approaches that apply adversarial training to existing incremental learning
methods, which provides a strong baseline for incremental learning on
adversarial robustness in the future. Our method achieves AutoAttack accuracy
that is 5.99\%p, 5.27\%p, and 3.90\%p higher on average than the baseline on
split CIFAR-10, CIFAR-100, and Tiny ImageNet, respectively. The code will be
made available.
- Abstract（参考訳）: 敵の訓練は、モデルトレーニング中の敵の例を統合し、堅牢性を高める。
しかし、固定データセット設定でのアプリケーションは、データが漸進的に蓄積される実世界のダイナミクスとは異なる。
本研究では,逆ロバスト性とインクリメンタル学習を組み合わせた手法であるarcil(adversarially robust class incremental learning)について検討する。
逐次学習とナイーブな敵対的トレーニングを組み合わせると、ロバスト性が失われやすいことが観察される。
これは、敵の訓練の特徴である損失関数の平坦性が失われることによるものであることが判明した。
この問題に対処するため,本研究では,逆例と清浄例の出力差を生かした平坦性保存蒸留(fpd)損失を提案する。
さらに,ロジット調整蒸留(LAD)の損失も導入し,新しいタスクにうまく対応できるようにモデル知識を適応させる。
実験の結果,既存のインクリメンタルラーニング手法に逆学習を適用するアプローチよりも,本手法の方が優れていることが示された。
分割したCIFAR-10, CIFAR-100, Tiny ImageNetのベースラインよりも平均5.99\%p, 5.27\%p, 3.90\%pのAutoAttack精度を実現する。
コードは利用可能になります。
関連論文リスト
- Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。
我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
論文 参考訳（メタデータ） (2025-02-20T02:35:17Z) - CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。
FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。
より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
論文 参考訳（メタデータ） (2024-10-08T02:23:16Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Causal Reinforcement Learning: A Survey [57.368108154871]
強化学習は、不確実性の下でのシーケンシャルな決定問題の解決に不可欠なパラダイムである。
主な障害の1つは、強化学習エージェントが世界に対する根本的な理解を欠いていることである。
因果性は、体系的な方法で知識を形式化できるという点で顕著な利点がある。
論文 参考訳（メタデータ） (2023-07-04T03:00:43Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - Delving into the Adversarial Robustness of Federated Learning [41.409961662754405]
フェデレートラーニング(FL)では、モデルは敵の例に対して中心的に訓練されたモデルと同じくらい脆弱である。
FLシステムの精度と堅牢性を改善するために,DBFAT(Decision boundary based Federated Adversarial Training)と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-19T04:54:25Z) - Dissecting Continual Learning a Structural and Data Analysis [0.0]
連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。
ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。
このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
論文 参考訳（メタデータ） (2023-01-03T10:37:11Z) - Where Did You Learn That From? Surprising Effectiveness of Membership
Inference Attacks Against Temporally Correlated Data in Deep Reinforcement
Learning [114.9857000195174]
深い強化学習を産業的に広く採用する上での大きな課題は、プライバシー侵害の潜在的な脆弱性である。
本稿では, 深層強化学習アルゴリズムの脆弱性を検証し, メンバーシップ推論攻撃に適応する対戦型攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-08T23:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。