論文の概要: Incompatibility Clustering as a Defense Against Backdoor Poisoning Attacks

• arxiv url: http://arxiv.org/abs/2105.03692v4
• Date: Thu, 27 Apr 2023 04:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 17:53:38.059655
• Title: Incompatibility Clustering as a Defense Against Backdoor Poisoning Attacks
• Title（参考訳）: 室内毒殺対策としての非互換性クラスタリング
• Authors: Charles Jin, Melinda Sun, Martin Rinard
• Abstract要約: モデル学習中に出現するデータのサブセット間の非互換性に基づく新しいクラスタリング機構を提案する。 このメカニズムはデータセットを自身にのみ一般化するサブセットに分割する。 攻撃者はトレーニングデータセットに悪意のあるデータを注入し、トレーニングされたモデルの出力に影響を与える。
• 参考スコア（独自算出の注目度）: 4.988182188764627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel clustering mechanism based on an incompatibility property between subsets of data that emerges during model training. This mechanism partitions the dataset into subsets that generalize only to themselves, i.e., training on one subset does not improve performance on the other subsets. Leveraging the interaction between the dataset and the training process, our clustering mechanism partitions datasets into clusters that are defined by--and therefore meaningful to--the objective of the training process. We apply our clustering mechanism to defend against data poisoning attacks, in which the attacker injects malicious poisoned data into the training dataset to affect the trained model's output. Our evaluation focuses on backdoor attacks against deep neural networks trained to perform image classification using the GTSRB and CIFAR-10 datasets. Our results show that (1) these attacks produce poisoned datasets in which the poisoned and clean data are incompatible and (2) our technique successfully identifies (and removes) the poisoned data. In an end-to-end evaluation, our defense reduces the attack success rate to below 1% on 134 out of 165 scenarios, with only a 2% drop in clean accuracy on CIFAR-10 and a negligible drop in clean accuracy on GTSRB.
• Abstract（参考訳）: モデルトレーニング中に出現するデータのサブセット間の非互換性特性に基づく,新たなクラスタリング機構を提案する。 このメカニズムはデータセットを自身にのみ一般化されたサブセットに分割する。つまり、あるサブセットでのトレーニングは、他のサブセットのパフォーマンスを改善するものではない。 データセットとトレーニングプロセス間のインタラクションを活用することで、クラスタ化機構はデータセットを、トレーニングプロセスの目的に対して意味のある、定義されたクラスタに分割する。 我々は,攻撃者がトレーニングデータセットに悪意のある有毒データを注入して,トレーニングモデルの出力に影響を及ぼすデータ中毒攻撃に対して,クラスタリング機構を適用する。 GTSRBとCIFAR-10データセットを用いて画像分類を行うために訓練されたディープニューラルネットワークに対するバックドア攻撃に焦点を当てた。 これらの攻撃は,(1) 有害データとクリーンデータとが相容れない有毒データセットを生成し,(2) 本手法が有毒データの識別(および除去)に成功していることを示す。 エンドツーエンド評価では,攻撃成功率は165シナリオ中134シナリオ中1%に低下し,cifar-10のクリーン精度は2%低下し,gtsrbのクリーン精度は2%低下した。

関連論文リスト

• FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning Attacks in Federated Learning [98.43475653490219]
  フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。 FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。 FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
  論文  参考訳（メタデータ） (2023-12-07T16:56:24Z)
• Towards Attack-tolerant Federated Learning via Critical Parameter Analysis [85.41873993551332]
  フェデレートされた学習システムは、悪意のあるクライアントが中央サーバーに誤ったアップデートを送信すると、攻撃を害するおそれがある。 本稿では,新たな防衛戦略であるFedCPA(Federated Learning with critical Analysis)を提案する。 攻撃耐性凝集法は, 有害局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒であるのに対し, 類似したトップkおよびボトムk臨界パラメータを持つ。
  論文  参考訳（メタデータ） (2023-08-18T05:37:55Z)
• Membership Inference Attacks by Exploiting Loss Trajectory [19.900473800648243]
  そこで本研究では,対象モデルのトレーニングプロセス全体から,メンバシップ情報を利用する新たな攻撃手法であるシステムを提案する。 我々の攻撃は、既存の方法よりも0.1%低い偽陽性率で、少なくとも6$times$高い真陽性率を達成する。
  論文  参考訳（メタデータ） (2022-08-31T16:02:26Z)
• Robust Trajectory Prediction against Adversarial Attacks [84.10405251683713]
  ディープニューラルネットワーク(DNN)を用いた軌道予測は、自律運転システムにおいて不可欠な要素である。 これらの手法は敵の攻撃に対して脆弱であり、衝突などの重大な結果をもたらす。 本研究では,敵対的攻撃に対する軌道予測モデルを保護するための2つの重要な要素を同定する。
  論文  参考訳（メタデータ） (2022-07-29T22:35:05Z)
• Autoregressive Perturbations for Data Poisoning [54.205200221427994]
  ソーシャルメディアからのデータスクレイピングは、不正なデータの使用に関する懸念が高まっている。 データ中毒攻撃は、スクラップ対策として提案されている。 より広範なデータセットにアクセスせずに有毒なデータを生成できる自動回帰(AR)中毒を導入する。
  論文  参考訳（メタデータ） (2022-06-08T06:24:51Z)
• DAD: Data-free Adversarial Defense at Test Time [21.741026088202126]
  ディープモデルは敵の攻撃に非常に敏感である。 プライバシは、トレーニングデータではなく、トレーニングされたモデルのみへのアクセスを制限する、重要な関心事になっている。 我々は,「訓練データと統計値の欠如によるテスト時敵防衛」という全く新しい問題を提案する。
  論文  参考訳（メタデータ） (2022-04-04T15:16:13Z)
• Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
  トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。 私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。 私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
  論文  参考訳（メタデータ） (2022-03-31T18:06:28Z)
• Mitigating the Impact of Adversarial Attacks in Very Deep Networks [10.555822166916705]
  Deep Neural Network (DNN)モデルにはセキュリティに関する脆弱性がある。 データ中毒による摂動攻撃は、モデルに偽データを注入する複雑な敵対攻撃である。 そこで本研究では,攻撃に依存しない防御手法を提案する。
  論文  参考訳（メタデータ） (2020-12-08T21:25:44Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Towards Class-Oriented Poisoning Attacks Against Neural Networks [1.14219428942199]
  機械学習システムに対する攻撃は、トレーニングデータセットに悪意のあるサンプルを意図的に注入することで、モデルのパフォーマンスを損なう。 そこで本研究では, 破損したモデルに対して, 2つの特定の予測を強制的に行うクラス指向中毒攻撃を提案する。 逆効果の最大化と、有毒なデータ生成の計算複雑性の低減を図るため、勾配に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T19:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。