論文の概要: PACOL: Poisoning Attacks Against Continual Learners

• arxiv url: http://arxiv.org/abs/2311.10919v1
• Date: Sat, 18 Nov 2023 00:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 13:32:03.626676
• Title: PACOL: Poisoning Attacks Against Continual Learners
• Title（参考訳）: PACOL: 継続的な学習者に対する攻撃
• Authors: Huayu Li and Gregory Ditzler
• Abstract要約: 本研究では,悪意ある誤報によって連続学習システムを操作できることを実証する。 本稿では,連続学習者を対象としたデータ中毒攻撃の新たなカテゴリについて紹介する。 総合的な実験のセットは、一般的に使われている生成的リプレイと正規化に基づく攻撃方法に対する継続的な学習アプローチの脆弱性を示している。
• 参考スコア（独自算出の注目度）: 1.569413950416037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning algorithms are typically exposed to untrusted sources that contain training data inserted by adversaries and bad actors. An adversary can insert a small number of poisoned samples, such as mislabeled samples from previously learned tasks, or intentional adversarial perturbed samples, into the training datasets, which can drastically reduce the model's performance. In this work, we demonstrate that continual learning systems can be manipulated by malicious misinformation and present a new category of data poisoning attacks specific for continual learners, which we refer to as {\em Poisoning Attacks Against Continual Learners} (PACOL). The effectiveness of labeling flipping attacks inspires PACOL; however, PACOL produces attack samples that do not change the sample's label and produce an attack that causes catastrophic forgetting. A comprehensive set of experiments shows the vulnerability of commonly used generative replay and regularization-based continual learning approaches against attack methods. We evaluate the ability of label-flipping and a new adversarial poison attack, namely PACOL proposed in this work, to force the continual learning system to forget the knowledge of a learned task(s). More specifically, we compared the performance degradation of continual learning systems trained on benchmark data streams with and without poisoning attacks. Moreover, we discuss the stealthiness of the attacks in which we test the success rate of data sanitization defense and other outlier detection-based defenses for filtering out adversarial samples.
• Abstract（参考訳）: 連続学習アルゴリズムは通常、敵や悪役によって挿入されたトレーニングデータを含む信頼できないソースに晒される。 敵は、以前に学習したタスクからの誤ラベルされたサンプルや意図的な敵の摂動サンプルなどの少数の有毒なサンプルをトレーニングデータセットに挿入することができ、モデルの性能を大幅に低下させることができる。 本研究では,連続学習システムを悪意のある誤情報によって操作できることを実証し,連続学習者特有のデータ中毒攻撃の新たなカテゴリを提示する。 フリップアタックのラベル付けの有効性はpacolを刺激するが、pacolはサンプルのラベルを変更しないアタックサンプルを生成し、壊滅的な忘れる攻撃を引き起こす。 総合的な実験は、一般的に使われている生成的リプレイと正規化に基づく攻撃方法に対する継続的な学習アプローチの脆弱性を示している。 本研究で提案したPACOLは,学習課題の知識を忘れるよう継続的学習システムに強制的に強制することを目的として,ラベルフリップと新たな敵毒攻撃の能力を評価する。 具体的には、ベンチマークデータストリームでトレーニングされた連続学習システムの性能劣化と、有害な攻撃の有無を比較した。 さらに, 敵検体をろ過するためのデータ衛生化防衛やその他の異常検出ベース防衛の成功率をテストする攻撃のステルス性についても論じる。

関連論文リスト

• Wicked Oddities: Selectively Poisoning for Effective Clean-Label Backdoor Attacks [11.390175856652856]
  クリーンラベル攻撃は、毒性のあるデータのラベルを変更することなく攻撃を行うことができる、よりステルスなバックドア攻撃である。 本研究は,攻撃成功率を高めるために,標的クラス内の少数の訓練サンプルを選択的に毒殺する方法について検討した。 私たちの脅威モデルは、サードパーティのデータセットで機械学習モデルをトレーニングする上で深刻な脅威となる。
  論文  参考訳（メタデータ） (2024-07-15T15:38:21Z)
• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning [98.43475653490219]
  フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。 FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。 FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
  論文  参考訳（メタデータ） (2023-12-07T16:56:24Z)
• Transferable Availability Poisoning Attacks [23.241524904589326]
  我々は、機械学習モデルの総合的なテスト精度を低下させることを目的とした、アベイラビリティーデータ中毒攻撃について検討する。 既存の毒殺対策は攻撃目標を達成することができるが、被害者は敵が攻撃をマウントするために使用するものと同じ学習方法を採用すると仮定する。 本稿では,まずアライメントと均一性の本質的な特性を活用して,非学習性を向上するTransferable Poisoningを提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:22:50Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning [5.417264344115724]
  半教師付き学習法は、従来の教師付き学習に必要なラベル付きトレーニングサンプルのごく一部で、高精度な機械学習モデルを訓練することができる。 このような方法は、通常、ラベルのないトレーニングサンプルの綿密なレビューを伴わないため、データ中毒攻撃の標的を誘惑する。 本研究は, 汚染された試料の分布に影響を与える簡易な中毒攻撃が, 極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2022-12-05T20:21:31Z)
• Amplifying Membership Exposure via Data Poisoning [18.799570863203858]
  本稿では,データ中毒の第3タイプについて検討し,良心的トレーニングサンプルのプライバシー漏洩リスクを高めることを目的とした。 そこで本研究では,対象クラスの加入者への露出を増幅するために,データ中毒攻撃のセットを提案する。 この結果から,提案手法は,テスト時間モデルの性能劣化を最小限に抑えることで,メンバーシップ推定精度を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-11-01T13:52:25Z)
• Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems [50.758281304737444]
  本稿では,強化学習に基づく対話型レコメンデーションシステムにおける敵例の探索と攻撃検出を提案する。 まず、入力に摂動を加え、カジュアルな要因に介入することで、異なる種類の逆例を作成する。 そこで,本研究では,人工データに基づく深層学習に基づく分類器による潜在的攻撃を検出することにより,推薦システムを強化した。
  論文  参考訳（メタデータ） (2021-12-02T04:12:24Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。