論文の概要: Can Backdoor Attacks Survive Time-Varying Models?

• arxiv url: http://arxiv.org/abs/2206.04677v1
• Date: Wed, 8 Jun 2022 01:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:20:35.156793
• Title: Can Backdoor Attacks Survive Time-Varying Models?
• Title（参考訳）: バックドア攻撃は時変モデルを救えるか?
• Authors: Huiying Li, Arjun Nitin Bhagoji, Ben Y. Zhao, Haitao Zheng
• Abstract要約: バックドアはディープニューラルネットワーク(DNN)に対する強力な攻撃 バックドア攻撃が時間変化DNNモデルのより現実的なシナリオに与える影響について検討する。 以上の結果から, ワンショットバックドア攻撃は, 数回のモデル更新以降は生き残らないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 35.836598031681426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backdoors are powerful attacks against deep neural networks (DNNs). By poisoning training data, attackers can inject hidden rules (backdoors) into DNNs, which only activate on inputs containing attack-specific triggers. While existing work has studied backdoor attacks on a variety of DNN models, they only consider static models, which remain unchanged after initial deployment. In this paper, we study the impact of backdoor attacks on a more realistic scenario of time-varying DNN models, where model weights are updated periodically to handle drifts in data distribution over time. Specifically, we empirically quantify the "survivability" of a backdoor against model updates, and examine how attack parameters, data drift behaviors, and model update strategies affect backdoor survivability. Our results show that one-shot backdoor attacks (i.e., only poisoning training data once) do not survive past a few model updates, even when attackers aggressively increase trigger size and poison ratio. To stay unaffected by model update, attackers must continuously introduce corrupted data into the training pipeline. Together, these results indicate that when models are updated to learn new data, they also "forget" backdoors as hidden, malicious features. The larger the distribution shift between old and new training data, the faster backdoors are forgotten. Leveraging these insights, we apply a smart learning rate scheduler to further accelerate backdoor forgetting during model updates, which prevents one-shot backdoors from surviving past a single model update.
• Abstract（参考訳）: バックドアはディープニューラルネットワーク(DNN)に対する強力な攻撃である。 トレーニングデータを汚染することにより、攻撃者はDNNに隠れたルール(バックドア)を注入できる。 既存の作業では、さまざまなDNNモデルに対するバックドアアタックを研究してきたが、彼らは、初期デプロイ後も変わらない静的モデルのみを考慮する。 本稿では, モデル重みを周期的に更新し, 時間とともにデータ分布のドリフトを処理する, より現実的なDNNモデルのシナリオに対するバックドア攻撃の影響について検討する。 具体的には,モデル更新に対するバックドアの「生存可能性」を実験的に定量化し,攻撃パラメータ,データドリフト挙動,モデル更新戦略がバックドア生存性にどのように影響するかを検討する。 その結果,攻撃者がトリガーサイズや中毒率を積極的に増やしても,ワンショットバックドア攻撃(訓練データ1回のみの毒殺)はいくつかのモデル更新を乗り越えないことが分かった。 モデル更新の影響を受けないように、攻撃者はトレーニングパイプラインに破損したデータを継続的に導入する必要がある。 これらの結果は、新しいデータを学ぶためにモデルが更新されると、バックドアを隠された悪意のある機能として“忘れる”ことを示しています。 古いトレーニングデータと新しいトレーニングデータの分散シフトが大きいほど、バックドアの高速化は忘れられます。 これらの知見を活用することで、モデル更新中のバックドアの忘れをさらに加速するために、スマートな学習レートスケジューラを適用し、ワンショットバックドアが1つのモデルアップデートを乗り越えることを防ぐ。

関連論文リスト

• Expose Before You Defend: Unifying and Enhancing Backdoor Defenses via Exposed Models [68.40324627475499]
  本稿では,Expose Before You Defendという新しい2段階防衛フレームワークを紹介する。 EBYDは既存のバックドア防御手法を総合防衛システムに統合し、性能を向上する。 2つの視覚データセットと4つの言語データセットにまたがる10のイメージアタックと6つのテキストアタックに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-10-25T09:36:04Z)
• Future Events as Backdoor Triggers: Investigating Temporal Vulnerabilities in LLMs [1.8907257686468144]
  バックドアを成功させようとする悪いアクターは、トレーニングや評価の際のアクティベーションを避けるために、それらを設計する必要があります。 現在の大規模言語モデル(LLM)は、過去の出来事と将来の出来事を区別することができ、モデルのアクティベーションに関する調査で90%の精度を実現している。 私たちは、時間的分布シフトによって引き起こされるバックドアでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2024-07-04T18:24:09Z)
• Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
  データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。 本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。 PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:52:26Z)
• PatchBackdoor: Backdoor Attack against Deep Neural Networks without Model Modification [0.0]
  バックドア攻撃は、安全クリティカルなシナリオにおけるディープラーニングシステムに対する大きな脅威である。 本稿では,モデル変更なしにバックドア攻撃が可能であることを示す。 PatchBackdoorを現実のシナリオで実装し、攻撃がまだ脅威であることを示す。
  論文  参考訳（メタデータ） (2023-08-22T23:02:06Z)
• Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
  我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。 CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
  論文  参考訳（メタデータ） (2023-03-13T02:25:59Z)
• Neurotoxin: Durable Backdoors in Federated Learning [73.82725064553827]
  連合学習システムは バックドア攻撃の訓練中に 固有の脆弱性がある 我々は,既存のバックドア攻撃に対する単純な一直線修正であるニューロトキシンを提案する。
  論文  参考訳（メタデータ） (2022-06-12T16:52:52Z)
• On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
  バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。 一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。 本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-22T02:24:46Z)
• Anti-Backdoor Learning: Training Clean Models on Poisoned Data [17.648453598314795]
  ディープニューラルネットワーク(DNN)に対するセキュリティ上の脅威としてバックドア攻撃が出現 提案手法は,バックドア・ポゾンデータを用いたアンファンクレーンモデルの学習を目的とした,アンファンティ・バックドア学習の概念を導入する。 バックドアポゾンデータ上でのABL学習モデルは、純粋にクリーンなデータでトレーニングされたのと同じ性能を実証的に示す。
  論文  参考訳（メタデータ） (2021-10-22T03:30:48Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Reflection Backdoor: A Natural Backdoor Attack on Deep Neural Networks [46.99548490594115]
  バックドア攻撃は、バックドアパターンをトレーニングデータのごく一部に注入することにより、バックドアを被害者モデルにインストールする。 被害者モデルにバックドアとして反射を植え付けるための反射バックドア(Refool)を提案する。 Refoolは最先端のDNNを高い成功率で攻撃することができる。
  論文  参考訳（メタデータ） (2020-07-05T13:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。