論文の概要: Data Poisoning Attack Aiming the Vulnerability of Continual Learning
- arxiv url: http://arxiv.org/abs/2211.15875v2
- Date: Mon, 3 Jul 2023 09:50:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 15:10:23.135991
- Title: Data Poisoning Attack Aiming the Vulnerability of Continual Learning
- Title(参考訳): 継続的学習の脆弱性を狙うデータ中毒攻撃
- Authors: Gyojin Han, Jaehyun Choi, Hyeong Gwon Hong, Junmo Kim
- Abstract要約: 本稿では,新しいタスクの学習プロセスで使用できる,単純なタスク固有のデータ中毒攻撃について述べる。
2つの代表的な正規化に基づく連続学習手法に対する攻撃実験を行った。
- 参考スコア(独自算出の注目度): 25.480762565632332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generally, regularization-based continual learning models limit access to the
previous task data to imitate the real-world constraints related to memory and
privacy. However, this introduces a problem in these models by not being able
to track the performance on each task. In essence, current continual learning
methods are susceptible to attacks on previous tasks. We demonstrate the
vulnerability of regularization-based continual learning methods by presenting
a simple task-specific data poisoning attack that can be used in the learning
process of a new task. Training data generated by the proposed attack causes
performance degradation on a specific task targeted by the attacker. We
experiment with the attack on the two representative regularization-based
continual learning methods, Elastic Weight Consolidation (EWC) and Synaptic
Intelligence (SI), trained with variants of MNIST dataset. The experiment
results justify the vulnerability proposed in this paper and demonstrate the
importance of developing continual learning models that are robust to
adversarial attacks.
- Abstract(参考訳): 一般に、正規化に基づく連続学習モデルは、メモリとプライバシに関連する現実的な制約を模倣するために、以前のタスクデータへのアクセスを制限する。
しかし、これは各タスクのパフォーマンスを追跡できないことで、これらのモデルに問題をもたらす。
本質的に、現在の連続学習方法は、以前のタスクに対する攻撃に影響を受けやすい。
新しいタスクの学習プロセスで使用できる単純なタスク固有のデータ中毒攻撃を提示することにより、正規化に基づく連続学習手法の脆弱性を実証する。
提案した攻撃によって生成されたトレーニングデータは、攻撃者がターゲットとする特定のタスクのパフォーマンス劣化を引き起こす。
我々は,2つの代表的な正規化に基づく連続学習手法であるElastic Weight Consolidation(EWC)とSynaptic Intelligence(SI)に対する攻撃実験を行った。
実験結果は,本論文で提案する脆弱性を正当化し,敵の攻撃に頑健な連続学習モデルの開発の重要性を実証する。
関連論文リスト
- Model Stealing Attack against Graph Classification with Authenticity,
Uncertainty and Diversity [85.1927483219819]
GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。
異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
論文 参考訳(メタデータ) (2023-12-18T05:42:31Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳(メタデータ) (2023-11-23T15:46:54Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - TIDo: Source-free Task Incremental Learning in Non-stationary
Environments [0.0]
モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。
ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。
本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
論文 参考訳(メタデータ) (2023-01-28T02:19:45Z) - False Memory Formation in Continual Learners Through Imperceptible
Backdoor Trigger [3.3439097577935213]
連続的な(漸進的な)学習モデルに提示される新しい情報を逐次学習すること。
知的敵は、訓練中に、特定のタスクやクラスを意図的に忘れないように、少量の誤報をモデルに導入できることを示す。
筆者らは、一般的に使われている生成的リプレイと正規化に基づく連続学習アプローチに「バックドア」攻撃サンプルを注入することにより、モデルの制御を前提とする敵の能力を実証する。
論文 参考訳(メタデータ) (2022-02-09T14:21:13Z) - Learning to Learn Transferable Attack [77.67399621530052]
転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。
本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。
提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
論文 参考訳(メタデータ) (2021-12-10T07:24:21Z) - Enhanced Membership Inference Attacks against Machine Learning Models [9.26208227402571]
メンバーシップ推論攻撃は、モデルがトレーニングセット内の個々のデータポイントについてリークする個人情報の定量化に使用される。
我々は,AUCスコアを高い精度で達成できる新たな攻撃アルゴリズムを導き,その性能に影響を及ぼすさまざまな要因を強調した。
我々のアルゴリズムは、モデルにおけるプライバシ損失の極めて正確な近似を捉え、機械学習モデルにおけるプライバシリスクの正確かつ詳細な推定を行うためのツールとして使用することができる。
論文 参考訳(メタデータ) (2021-11-18T13:31:22Z) - Adversarial Targeted Forgetting in Regularization and Generative Based
Continual Learning Models [2.8021833233819486]
継続的(あるいはインクリメンタル)な学習アプローチは、その後のバッチやストリーミングデータから追加の知識やタスクを学ぶ必要がある場合に使用される。
知的敵は、既存の知識を時間とともに保持する連続学習アルゴリズムの能力を活用できることを示す。
敵は、そのタスクのテストインスタンスに慎重に設計されたバックドアサンプルを挿入することで、任意のタスクについて「偽のメモリ」を作成できることを示します。
論文 参考訳(メタデータ) (2021-02-16T18:45:01Z) - Meta-Reinforcement Learning Robust to Distributional Shift via Model
Identification and Experience Relabeling [126.69933134648541]
本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。
我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
論文 参考訳(メタデータ) (2020-06-12T13:34:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。