論文の概要: Enhancing Accuracy and Robustness through Adversarial Training in Class
Incremental Continual Learning
- arxiv url: http://arxiv.org/abs/2305.13678v1
- Date: Tue, 23 May 2023 04:37:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 19:04:33.727839
- Title: Enhancing Accuracy and Robustness through Adversarial Training in Class
Incremental Continual Learning
- Title（参考訳）: 授業インクリメンタル学習における対人訓練による精度とロバスト性の向上
- Authors: Minchan Kwon, Kangil Kim
- Abstract要約: ディープラーニングモデルに対する敵対的攻撃は致命的なセキュリティ問題である。
CICLは敵攻撃に対する防御法としてよく知られている。
本稿では,経験リプレイを用いた手法に適用可能な外部支援訓練(EAT)を提案する。
- 参考スコア（独自算出の注目度）: 0.34265828682659694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In real life, adversarial attack to deep learning models is a fatal security
issue. However, the issue has been rarely discussed in a widely used
class-incremental continual learning (CICL). In this paper, we address problems
of applying adversarial training to CICL, which is well-known defense method
against adversarial attack. A well-known problem of CICL is class-imbalance
that biases a model to the current task by a few samples of previous tasks.
Meeting with the adversarial training, the imbalance causes another imbalance
of attack trials over tasks. Lacking clean data of a minority class by the
class-imbalance and increasing of attack trials from a majority class by the
secondary imbalance, adversarial training distorts optimal decision boundaries.
The distortion eventually decreases both accuracy and robustness than
adversarial training. To exclude the effects, we propose a straightforward but
significantly effective method, External Adversarial Training (EAT) which can
be applied to methods using experience replay. This method conduct adversarial
training to an auxiliary external model for the current task data at each time
step, and applies generated adversarial examples to train the target model. We
verify the effects on a toy problem and show significance on CICL benchmarks of
image classification. We expect that the results will be used as the first
baseline for robustness research of CICL.
- Abstract（参考訳）: 現実には、ディープラーニングモデルに対する敵対的な攻撃は致命的なセキュリティ問題である。
しかし、この問題は、広く使われているクラス増分連続学習(CICL)で議論されることはめったにない。
本稿では、敵攻撃に対する防御法としてよく知られたCICLに対する敵攻撃訓練の適用の問題に対処する。
CICLのよく知られた問題は、前のタスクのサンプルによってモデルを現在のタスクにバイアスするクラス不均衡である。
敵の訓練に合わせると、不均衡はタスクに対する別の攻撃試験の不均衡を引き起こす。
集団不均衡によるマイノリティ階級のクリーンなデータの欠如と、二次不均衡による多数派階級からの攻撃試験の増加により、敵対的な訓練は最適な決定境界を歪める。
この歪みは結局、敵の訓練よりも正確さと頑健さの両方を減少させる。
この効果を除外するために,経験的リプレイを用いた手法に適用可能な,単純かつ効果的に外敵訓練(EAT)を提案する。
各タイミングで現在のタスクデータに対する補助的外部モデルに対して敵訓練を行い、生成した敵例を適用して目標モデルを訓練する。
玩具問題に対する効果を検証し,画像分類のCICLベンチマークにおいて意義を示す。
結果がCICLの堅牢性研究の最初のベースラインとして使われることを期待している。
関連論文リスト
- Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。
本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。
C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文 参考訳（メタデータ） (2024-05-24T14:20:09Z) - Class Incremental Learning for Adversarial Robustness [17.06592851567578]
アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。
直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。
本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
論文 参考訳（メタデータ） (2023-12-06T04:38:02Z) - Outlier Robust Adversarial Training [57.06824365801612]
本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。
ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。
ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
論文 参考訳（メタデータ） (2023-09-10T21:36:38Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Adversarial Fine-tune with Dynamically Regulated Adversary [27.034257769448914]
健康診断や自律手術ロボットなどの現実世界の多くの応用において、このような極めて悪意のある攻撃に対するモデルロバスト性よりも、標準的な性能が重視されている。
本研究は, モデル標準性能に対する対向サンプルの負の効果を阻害する, 単純かつ効果的な移動学習に基づく対向学習戦略を提案する。
さらに,トレーニングの複雑さを伴わずに,敵の強靭性を向上する訓練フレンドリーな敵攻撃アルゴリズムを導入する。
論文 参考訳（メタデータ） (2022-04-28T00:07:15Z) - Imbalanced Adversarial Training with Reweighting [33.51820466479575]
学習データセットが不均衡である場合、逆向きに訓練されたモデルは、表現不足のクラスでは、はるかにパフォーマンスが悪くなる可能性があることを示す。
従来の再重み付け戦略は、敵の訓練の不均衡問題に対処する効果を失う可能性がある。
本研究では,不均衡シナリオ下での対人訓練を容易にするために,SRAT(Separable Reweighted Adversarial Training)を提案する。
論文 参考訳（メタデータ） (2021-07-28T20:51:36Z) - Analysis and Applications of Class-wise Robustness in Adversarial
Training [92.08430396614273]
敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。
従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。
MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。
対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
論文 参考訳（メタデータ） (2021-05-29T07:28:35Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。
滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文 参考訳（メタデータ） (2020-08-15T02:32:09Z) - Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。
提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
論文 参考訳（メタデータ） (2020-04-18T14:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。