論文の概要: Backdoor Learning Curves: Explaining Backdoor Poisoning Beyond Influence
Functions
- arxiv url: http://arxiv.org/abs/2106.07214v1
- Date: Mon, 14 Jun 2021 08:00:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:45:56.456876
- Title: Backdoor Learning Curves: Explaining Backdoor Poisoning Beyond Influence
Functions
- Title(参考訳): バックドア学習曲線:影響関数を超えてバックドア中毒を説明する
- Authors: Antonio Emanuele Cin\`a, Kathrin Grosse, Sebastiano Vascon, Ambra
Demontis, Battista Biggio, Fabio Roli, Marcello Pelillo
- Abstract要約: インクリメンタルラーニングとインフルエンス関数のレンズによるバックドアラーニングのプロセスについて検討した。
バックドア攻撃の成功は、(i)学習アルゴリズムの複雑さと(ii)トレーニングセットに注入されたバックドアサンプルの割合に本質的に依存していることが示される。
- 参考スコア(独自算出の注目度): 26.143147923356626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backdoor attacks inject poisoning samples during training, with the goal of
enforcing a machine-learning model to output an attacker-chosen class when
presented a specific trigger at test time. Although backdoor attacks have been
demonstrated in a variety of settings and against different models, the factors
affecting their success are not yet well understood. In this work, we provide a
unifying framework to study the process of backdoor learning under the lens of
incremental learning and influence functions. We show that the success of
backdoor attacks inherently depends on (i) the complexity of the learning
algorithm, controlled by its hyperparameters, and (ii) the fraction of backdoor
samples injected into the training set. These factors affect how fast a
machine-learning model learns to correlate the presence of a backdoor trigger
with the target class. Interestingly, our analysis shows that there exists a
region in the hyperparameter space in which the accuracy on clean test samples
is still high while backdoor attacks become ineffective, thereby suggesting
novel criteria to improve existing defenses.
- Abstract(参考訳): バックドアアタックはトレーニング中に毒物サンプルを注入し、テスト時に特定のトリガーを提示すると、機械学習モデルにアタック・チョーゼンクラスを出力させる。
バックドア攻撃は様々な設定や異なるモデルで実証されているが、その成功に影響する要因はまだよく分かっていない。
本研究では,インクリメンタルな学習と影響関数のレンズ下でのバックドア学習の過程を研究するための統一的な枠組みを提供する。
バックドア攻撃の成功は,(i)ハイパーパラメータによって制御される学習アルゴリズムの複雑さ,および(ii)トレーニングセットに注入されたバックドアサンプルのごく一部に依存することを示した。
これらの要因は、機械学習モデルが学習し、バックドアトリガーの存在とターゲットクラスとの相関性に影響する。
興味深いことに, バックドア攻撃が有効でない場合, クリーンテスト試料の精度が依然として高いハイパーパラメータ領域が存在することを示し, 既存の防御を改善するための新たな基準を提案する。
関連論文リスト
- Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。
動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。
本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
論文 参考訳(メタデータ) (2024-10-16T18:44:22Z) - Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。
これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。
バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
論文 参考訳(メタデータ) (2024-09-29T02:55:38Z) - Backdoor Defense through Self-Supervised and Generative Learning [0.0]
このようなデータのトレーニングは、選択されたテストサンプルに悪意のある推論を引き起こすバックドアを注入する。
本稿では,自己教師付き表現空間におけるクラスごとの分布生成モデルに基づくアプローチを提案する。
どちらの場合も、クラスごとの生成モデルにより、有毒なデータを検出し、データセットをクリーン化することができます。
論文 参考訳(メタデータ) (2024-09-02T11:40:01Z) - Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳(メタデータ) (2024-03-24T18:33:15Z) - Demystifying Poisoning Backdoor Attacks from a Statistical Perspective [35.30533879618651]
バックドア攻撃は、そのステルス性や潜在的に深刻な影響により、重大なセキュリティリスクを引き起こす。
本稿では,一定のトリガを組み込んだバックドア攻撃の有効性を評価する。
我々の導出した理解は、識別モデルと生成モデルの両方に適用できる。
論文 参考訳(メタデータ) (2023-10-16T19:35:01Z) - Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。
具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。
機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
論文 参考訳(メタデータ) (2023-05-03T20:31:13Z) - SoK: A Systematic Evaluation of Backdoor Trigger Characteristics in
Image Classification [21.424907311421197]
ディープラーニングは、トレーニングセットを変更してトレーニングモデルに秘密機能を埋め込むバックドア攻撃に対して脆弱である。
本稿では,バックドア攻撃の最も関連性の高いパラメータを系統的に分析する。
私たちの攻撃は、研究におけるバックドア設定の大部分をカバーし、将来の作業に具体的な方向性を提供します。
論文 参考訳(メタデータ) (2023-02-03T14:00:05Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳(メタデータ) (2022-11-02T17:05:45Z) - Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。
攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文 参考訳(メタデータ) (2022-11-02T15:39:19Z) - Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural
Networks [25.23881974235643]
バックドア攻撃は、引き起こされたサンプルの周りでよりスムーズな決定関数を誘導することを示します。
実験の結果,入力サンプルにトリガーを付加するとスムーズさが増加し,この現象はより成功した攻撃に対してより顕著であることがわかった。
論文 参考訳(メタデータ) (2020-06-11T18:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。