論文の概要: Systematic Evaluation of Backdoor Data Poisoning Attacks on Image Classifiers

• arxiv url: http://arxiv.org/abs/2004.11514v1
• Date: Fri, 24 Apr 2020 02:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 02:40:27.743648
• Title: Systematic Evaluation of Backdoor Data Poisoning Attacks on Image Classifiers
• Title（参考訳）: 画像分類器におけるバックドアデータ中毒攻撃の体系的評価
• Authors: Loc Truong, Chace Jones, Brian Hutchinson, Andrew August, Brenda Praggastis, Robert Jasper, Nicole Nichols, Aaron Tuor
• Abstract要約: コンピュータビジョン研究において、機械学習(ML)システムの潜在的な安全性リスクとして、バックドアデータ中毒攻撃が実証されている。 我々の研究は、ML画像分類器のための事前のバックドアデータポゾン研究に基づいている。 有毒なモデルでは、パフォーマンス検査だけでは検出が難しいことが分かりました。
• 参考スコア（独自算出の注目度）: 6.352532169433872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backdoor data poisoning attacks have recently been demonstrated in computer vision research as a potential safety risk for machine learning (ML) systems. Traditional data poisoning attacks manipulate training data to induce unreliability of an ML model, whereas backdoor data poisoning attacks maintain system performance unless the ML model is presented with an input containing an embedded "trigger" that provides a predetermined response advantageous to the adversary. Our work builds upon prior backdoor data-poisoning research for ML image classifiers and systematically assesses different experimental conditions including types of trigger patterns, persistence of trigger patterns during retraining, poisoning strategies, architectures (ResNet-50, NasNet, NasNet-Mobile), datasets (Flowers, CIFAR-10), and potential defensive regularization techniques (Contrastive Loss, Logit Squeezing, Manifold Mixup, Soft-Nearest-Neighbors Loss). Experiments yield four key findings. First, the success rate of backdoor poisoning attacks varies widely, depending on several factors, including model architecture, trigger pattern and regularization technique. Second, we find that poisoned models are hard to detect through performance inspection alone. Third, regularization typically reduces backdoor success rate, although it can have no effect or even slightly increase it, depending on the form of regularization. Finally, backdoors inserted through data poisoning can be rendered ineffective after just a few epochs of additional training on a small set of clean data without affecting the model's performance.
• Abstract（参考訳）: バックドアデータ中毒攻撃は、機械学習(ML)システムの潜在的な安全性リスクとして、コンピュータビジョン研究で最近実証されている。 従来のデータ中毒攻撃は、トレーニングデータを操作してMLモデルの信頼性を損なう一方、バックドアデータ中毒攻撃は、MLモデルに敵に有利な所定の応答を提供する「トリガー」を組み込んだ入力がなければシステム性能を維持する。 我々の研究は,ML画像分類器を対象とした事前のバックドアデータ収集研究に基づいて,トリガパターンの種類,リトレーニング中のトリガパターンの持続性,毒性戦略,アーキテクチャ(ResNet-50,NasNet,NasNet-Mobile),データセット(Flowers,CIFAR-10),潜在的な防御正則化技術(Contrastive Loss,Logit Squeezing,Manifold Mixup,Soft-Nearest-Neighbors Loss)など,さまざまな実験条件を体系的に評価する。 実験は4つの重要な結果をもたらす。 まず, モデルアーキテクチャ, トリガーパターン, 正規化技術など, 様々な要因により, バックドア毒殺攻撃の成功率は様々である。 第2に,有毒なモデルでは,パフォーマンス検査だけでは検出が困難であることが分かりました。 第3に、レギュラー化は一般的にバックドアの成功率を低下させるが、レギュラー化の形式によって効果もわずかに増加することもある。 最後に、データ中毒によって挿入されたバックドアは、モデルの性能に影響を与えることなく、少数のクリーンなデータに対して追加のトレーニングを行った後、効果を発揮できない。

関連論文リスト

• Erasing Self-Supervised Learning Backdoor by Cluster Activation Masking [65.44477004525231]
  研究者は最近、自己監視学習(SSL)がバックドア攻撃に脆弱であることを発見した。 本稿では,クラスタアクティベーションマスキングによるSSLバックドアの消去を提案し,新しいPoisonCAM法を提案する。 ImageNet-100の最先端手法の3%と比較して,バックドアトリガ検出の精度は96%であった。
  論文  参考訳（メタデータ） (2023-12-13T08:01:15Z)
• FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning [98.43475653490219]
  フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。 FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。 FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
  論文  参考訳（メタデータ） (2023-12-07T16:56:24Z)
• Hiding Backdoors within Event Sequence Data via Poisoning Attacks [2.532893215351299]
  コンピュータビジョンでは、毒という敵の攻撃を行うことで、推論中に出力を形作ることができる。 顧客の金融取引のシーケンスでは、バックドアの挿入は困難である。 クリーンなモデルを、バックドアの可用性を認識して、この知識を活用する有毒なものに置き換える。
  論文  参考訳（メタデータ） (2023-08-20T08:27:42Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
  我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。 CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
  論文  参考訳（メタデータ） (2023-03-13T02:25:59Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Invisible Backdoor Attacks Using Data Poisoning in the Frequency Domain [8.64369418938889]
  周波数領域に基づく一般化されたバックドア攻撃手法を提案する。 トレーニングプロセスのミスラベルやアクセスをすることなく、バックドアのインプラントを実装できる。 我々は,3つのデータセットに対して,ラベルなし,クリーンラベルのケースにおけるアプローチを評価した。
  論文  参考訳（メタデータ） (2022-07-09T07:05:53Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• TOP: Backdoor Detection in Neural Networks via Transferability of Perturbation [1.52292571922932]
  トレーニングデータやサンプルトリガにアクセスせずにトレーニングされたモデルのバックドアを検出することは、重要なオープン問題である。 本稿では,これらのモデルの興味深い性質を同定する: クリーンモデルよりも毒性モデルの方が画像から画像への逆摂動の伝達が容易である。 この機能を使用して、TrojAIベンチマークの有毒モデルと、追加モデルを検出します。
  論文  参考訳（メタデータ） (2021-03-18T14:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。