論文の概要: Adversarial Targeted Forgetting in Regularization and Generative Based
Continual Learning Models
- arxiv url: http://arxiv.org/abs/2102.08355v1
- Date: Tue, 16 Feb 2021 18:45:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-18 09:33:13.942250
- Title: Adversarial Targeted Forgetting in Regularization and Generative Based
Continual Learning Models
- Title（参考訳）: 正規化とジェネラティブベースの連続学習モデルにおける逆ターゲット
- Authors: Muhammad Umer, Robi Polikar
- Abstract要約: 継続的(あるいはインクリメンタル)な学習アプローチは、その後のバッチやストリーミングデータから追加の知識やタスクを学ぶ必要がある場合に使用される。
知的敵は、既存の知識を時間とともに保持する連続学習アルゴリズムの能力を活用できることを示す。
敵は、そのタスクのテストインスタンスに慎重に設計されたバックドアサンプルを挿入することで、任意のタスクについて「偽のメモリ」を作成できることを示します。
- 参考スコア（独自算出の注目度）: 2.8021833233819486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual (or "incremental") learning approaches are employed when additional
knowledge or tasks need to be learned from subsequent batches or from streaming
data. However these approaches are typically adversary agnostic, i.e., they do
not consider the possibility of a malicious attack. In our prior work, we
explored the vulnerabilities of Elastic Weight Consolidation (EWC) to the
perceptible misinformation. We now explore the vulnerabilities of other
regularization-based as well as generative replay-based continual learning
algorithms, and also extend the attack to imperceptible misinformation. We show
that an intelligent adversary can take advantage of a continual learning
algorithm's capabilities of retaining existing knowledge over time, and force
it to learn and retain deliberately introduced misinformation. To demonstrate
this vulnerability, we inject backdoor attack samples into the training data.
These attack samples constitute the misinformation, allowing the attacker to
capture control of the model at test time. We evaluate the extent of this
vulnerability on both rotated and split benchmark variants of the MNIST dataset
under two important domain and class incremental learning scenarios. We show
that the adversary can create a "false memory" about any task by inserting
carefully-designed backdoor samples to the test instances of that task thereby
controlling the amount of forgetting of any task of its choosing. Perhaps most
importantly, we show this vulnerability to be very acute and damaging: the
model memory can be easily compromised with the addition of backdoor samples
into as little as 1\% of the training data, even when the misinformation is
imperceptible to human eye.
- Abstract（参考訳）: 継続的(あるいはインクリメンタル)な学習アプローチは、その後のバッチやストリーミングデータから追加の知識やタスクを学ぶ必要がある場合に使用される。
しかし、これらのアプローチは通常、悪意のある攻撃の可能性を考慮していない。
先程の研究では、Elastic Weight Consolidation(EWC)の脆弱性を認識可能な誤報に調査した。
現在、私たちは、他の正規化ベースの脆弱性、および再生再生ベースの連続学習アルゴリズムを探索し、攻撃を知覚不能な誤情報に拡張します。
知的敵は,既存の知識を時間をかけて保持し,故意に導入した誤情報を学習・保持させる連続学習アルゴリズムの能力を活用できることを示す。
この脆弱性を示すために、トレーニングデータにバックドア攻撃サンプルを注入する。
これらの攻撃サンプルは誤情報であり、アタッカーはテスト時にモデルの制御をキャプチャすることができる。
MNISTデータセットのローテーションとスプリットのベンチマーク変異に対するこの脆弱性の程度を、2つの重要なドメインとクラスインクリメンタルな学習シナリオで評価する。
本研究では,そのタスクのテストインスタンスに慎重に設計したバックドアサンプルを挿入することで,任意のタスクに関する「偽メモリ」を作成することができることを示す。
おそらく最も重要なことは、この脆弱性は非常に深刻で損傷的であることを示しています。モデルメモリは、誤った情報が人間の目には受け入れられない場合でも、トレーニングデータのわずか1\%にバックドアサンプルを追加することで簡単に妥協することができます。
関連論文リスト
- Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳（メタデータ） (2024-03-24T18:33:15Z) - The Adversarial Implications of Variable-Time Inference [47.44631666803983]
本稿では,攻撃対象のMLモデルの予測を後処理するアルゴリズムの実行時間を簡単に計測する,新たなサイドチャネルを利用するアプローチを提案する。
我々は,物体検出装置の動作において重要な役割を果たす非最大抑圧(NMS)アルゴリズムからの漏れを調査する。
我々は、YOLOv3検出器に対する攻撃を実演し、タイミングリークを利用して、逆例を用いてオブジェクト検出を回避し、データセット推論を行う。
論文 参考訳（メタデータ） (2023-09-05T11:53:17Z) - Backdoor Attacks Against Incremental Learners: An Empirical Evaluation
Study [79.33449311057088]
本稿では,11人の典型的なインクリメンタル学習者の3つの学習シナリオに対する中毒ベースのバックドア攻撃に対する高い脆弱性を実証的に明らかにする。
アクティベーションクラスタリングに基づく防御機構は,潜在的なセキュリティリスクを軽減するためのトリガーパターンの検出に有効であることがわかった。
論文 参考訳（メタデータ） (2023-05-28T09:17:48Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳（メタデータ） (2023-01-27T07:53:50Z) - Data Poisoning Attack Aiming the Vulnerability of Continual Learning [25.480762565632332]
本稿では,新しいタスクの学習プロセスで使用できる,単純なタスク固有のデータ中毒攻撃について述べる。
2つの代表的な正規化に基づく連続学習手法に対する攻撃実験を行った。
論文 参考訳（メタデータ） (2022-11-29T02:28:05Z) - False Memory Formation in Continual Learners Through Imperceptible
Backdoor Trigger [3.3439097577935213]
連続的な(漸進的な)学習モデルに提示される新しい情報を逐次学習すること。
知的敵は、訓練中に、特定のタスクやクラスを意図的に忘れないように、少量の誤報をモデルに導入できることを示す。
筆者らは、一般的に使われている生成的リプレイと正規化に基づく連続学習アプローチに「バックドア」攻撃サンプルを注入することにより、モデルの制御を前提とする敵の能力を実証する。
論文 参考訳（メタデータ） (2022-02-09T14:21:13Z) - Backdoor Attacks on Self-Supervised Learning [22.24046752858929]
自己教師型学習手法は,バックドア攻撃に対して脆弱であることを示す。
攻撃者は、画像に小さなトリガー(攻撃者として知られる)を追加することで、ラベルのないデータの一部を毒する。
本稿では,攻撃を中和する知識蒸留に基づく防衛アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-21T04:22:05Z) - Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。
敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。
実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
論文 参考訳（メタデータ） (2021-05-18T17:48:15Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z) - Targeted Forgetting and False Memory Formation in Continual Learners
through Adversarial Backdoor Attacks [2.830541450812474]
破滅的な忘れ物を避けるために,一般的な連続学習アルゴリズムであるElastic Weight Consolidation (EWC)の脆弱性について検討する。
知的敵は、EWCの防御を回避でき、訓練中に少量の誤報をモデルに導入することで、段階的かつ故意に忘れることを引き起こす。
MNISTデータセットの置換型と分割型の両方に"バックドア"攻撃サンプルを注入することで、モデルの制御を前提とする敵の能力を実証する。
論文 参考訳（メタデータ） (2020-02-17T18:13:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。