論文の概要: Backdoor Attack in Prompt-Based Continual Learning

• arxiv url: http://arxiv.org/abs/2406.19753v1
• Date: Fri, 28 Jun 2024 08:53:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 17:20:03.814364
• Title: Backdoor Attack in Prompt-Based Continual Learning
• Title（参考訳）: プロンプト型連続学習におけるバックドアアタック
• Authors: Trang Nguyen, Anh Tran, Nhat Ho,
• Abstract要約: 本稿では,バックドア・アタック(バックドア・アタック)という潜在的な脅威に対して,継続的な学習を露呈する。 本稿では,インクリメンタル学習者に対するバックドアアタックの実行における3つの重要な課題を強調し,それに対応するソリューションを提案する。 我々のフレームワークは、最大で100%の攻撃成功率を達成し、さらなるアブレーション研究により、我々の貢献を確認します。
• 参考スコア（独自算出の注目度）: 27.765647731440723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt-based approaches offer a cutting-edge solution to data privacy issues in continual learning, particularly in scenarios involving multiple data suppliers where long-term storage of private user data is prohibited. Despite delivering state-of-the-art performance, its impressive remembering capability can become a double-edged sword, raising security concerns as it might inadvertently retain poisoned knowledge injected during learning from private user data. Following this insight, in this paper, we expose continual learning to a potential threat: backdoor attack, which drives the model to follow a desired adversarial target whenever a specific trigger is present while still performing normally on clean samples. We highlight three critical challenges in executing backdoor attacks on incremental learners and propose corresponding solutions: (1) \emph{Transferability}: We employ a surrogate dataset and manipulate prompt selection to transfer backdoor knowledge to data from other suppliers; (2) \emph{Resiliency}: We simulate static and dynamic states of the victim to ensure the backdoor trigger remains robust during intense incremental learning processes; and (3) \emph{Authenticity}: We apply binary cross-entropy loss as an anti-cheating factor to prevent the backdoor trigger from devolving into adversarial noise. Extensive experiments across various benchmark datasets and continual learners validate our continual backdoor framework, achieving up to $100\%$ attack success rate, with further ablation studies confirming our contributions' effectiveness.
• Abstract（参考訳）: Promptベースのアプローチは、継続的な学習におけるデータのプライバシ問題に対する最先端のソリューションを提供する。 最先端のパフォーマンスを提供するにもかかわらず、その印象的な記憶能力は二刃の剣になり、プライベートユーザーデータから学習中に注入された有毒な知識を不注意に保持する可能性があるため、セキュリティ上の懸念が高まる。 この知見に従い、本論文では、バックドアアタック(バックドアアタック)という、特定のトリガーが存在するときいつでも、モデルに望ましい敵の標的を追従させるとともに、正常にクリーンなサンプル上で動作させる、継続的な学習を潜在的脅威に晒す。 我々は,段階的な学習者に対するバックドア攻撃の実行における3つの重要な課題を強調し,それに対応するソリューションを提案する。(1) \emph{Transferability}:サロゲートデータセットを使用し,他のサプライヤからのデータにバックドア知識を転送するための迅速な選択を操作する。(2) \emph{Resiliency}: 被害者の静的および動的状態をシミュレートして,過度な漸進的学習プロセスにおいてバックドアトリガが堅牢であることを保証する。(3) \emph{Authenticity}: バイナリクロスエントロピー損失を適用して,バックドアトリガが対向ノイズに陥るのを防ぐ。 さまざまなベンチマークデータセットと継続的な学習者による大規模な実験は、我々の連続したバックドアフレームワークを検証し、最大100\%の攻撃成功率を達成する。

関連論文リスト

• Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
  既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。 動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。 本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
  論文  参考訳（メタデータ） (2024-10-16T18:44:22Z)
• A Practical Trigger-Free Backdoor Attack on Neural Networks [33.426207982772226]
  トレーニングデータへのアクセスを必要としないトリガーフリーのバックドア攻撃を提案する。 具体的には、悪意のあるデータの概念を攻撃者特定クラスの概念に組み込んだ、新しい微調整アプローチを設計する。 提案した攻撃の有効性,実用性,ステルスネスを実世界の3つのデータセットで評価した。
  論文  参考訳（メタデータ） (2024-08-21T08:53:36Z)
• Dullahan: Stealthy Backdoor Attack against Without-Label-Sharing Split Learning [29.842087372804905]
  本稿では,非ラベル共有型スプリットラーニングアーキテクチャに適した,ステルスなバックドア攻撃戦略を提案する。 我々のSBATは、訓練中の中間パラメータの変更を控えることで、より高い攻撃ステルスネスを達成する。
  論文  参考訳（メタデータ） (2024-05-21T13:03:06Z)
• Backdoor Attacks Against Incremental Learners: An Empirical Evaluation Study [79.33449311057088]
  本稿では,11人の典型的なインクリメンタル学習者の3つの学習シナリオに対する中毒ベースのバックドア攻撃に対する高い脆弱性を実証的に明らかにする。 アクティベーションクラスタリングに基づく防御機構は,潜在的なセキュリティリスクを軽減するためのトリガーパターンの検出に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-05-28T09:17:48Z)
• On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
  バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。 一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。 本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-22T02:24:46Z)
• False Memory Formation in Continual Learners Through Imperceptible Backdoor Trigger [3.3439097577935213]
  連続的な(漸進的な)学習モデルに提示される新しい情報を逐次学習すること。 知的敵は、訓練中に、特定のタスクやクラスを意図的に忘れないように、少量の誤報をモデルに導入できることを示す。 筆者らは、一般的に使われている生成的リプレイと正規化に基づく連続学習アプローチに「バックドア」攻撃サンプルを注入することにより、モデルの制御を前提とする敵の能力を実証する。
  論文  参考訳（メタデータ） (2022-02-09T14:21:13Z)
• Where Did You Learn That From? Surprising Effectiveness of Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning [114.9857000195174]
  深い強化学習を産業的に広く採用する上での大きな課題は、プライバシー侵害の潜在的な脆弱性である。 本稿では, 深層強化学習アルゴリズムの脆弱性を検証し, メンバーシップ推論攻撃に適応する対戦型攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-08T23:44:57Z)
• Adversarial Targeted Forgetting in Regularization and Generative Based Continual Learning Models [2.8021833233819486]
  継続的(あるいはインクリメンタル)な学習アプローチは、その後のバッチやストリーミングデータから追加の知識やタスクを学ぶ必要がある場合に使用される。 知的敵は、既存の知識を時間とともに保持する連続学習アルゴリズムの能力を活用できることを示す。 敵は、そのタスクのテストインスタンスに慎重に設計されたバックドアサンプルを挿入することで、任意のタスクについて「偽のメモリ」を作成できることを示します。
  論文  参考訳（メタデータ） (2021-02-16T18:45:01Z)
• Curse or Redemption? How Data Heterogeneity Affects the Robustness of Federated Learning [51.15273664903583]
  データの不均一性は、フェデレートラーニングにおける重要な特徴の1つとして認識されているが、しばしば敵対的攻撃に対する堅牢性のレンズで見過ごされる。 本稿では, 複合学習におけるバックドア攻撃の影響を, 総合的な実験を通じて評価し, 理解することを目的とした。
  論文  参考訳（メタデータ） (2021-02-01T06:06:21Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。