論文の概要: A Separation Result Between Data-oblivious and Data-aware Poisoning
Attacks
- arxiv url: http://arxiv.org/abs/2003.12020v3
- Date: Mon, 13 Dec 2021 14:53:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 21:33:53.670723
- Title: A Separation Result Between Data-oblivious and Data-aware Poisoning
Attacks
- Title(参考訳): data-oblivious と data-aware poisoning attack の分離結果
- Authors: Samuel Deng, Sanjam Garg, Somesh Jha, Saeed Mahloujifar, Mohammad
Mahmoody, Abhradeep Thakurta
- Abstract要約: 殺人攻撃は、機械学習アルゴリズムに対する重要なセキュリティ脅威として浮上している。
強力な毒殺攻撃のいくつかは、トレーニングデータの完全な知識を必要とする。
本研究は,全情報相手が最適攻撃者よりも確実に強いことを示す。
- 参考スコア(独自算出の注目度): 40.044030156696145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Poisoning attacks have emerged as a significant security threat to machine
learning algorithms. It has been demonstrated that adversaries who make small
changes to the training set, such as adding specially crafted data points, can
hurt the performance of the output model. Some of the stronger poisoning
attacks require the full knowledge of the training data. This leaves open the
possibility of achieving the same attack results using poisoning attacks that
do not have the full knowledge of the clean training set.
In this work, we initiate a theoretical study of the problem above.
Specifically, for the case of feature selection with LASSO, we show that
full-information adversaries (that craft poisoning examples based on the rest
of the training data) are provably stronger than the optimal attacker that is
oblivious to the training set yet has access to the distribution of the data.
Our separation result shows that the two setting of data-aware and
data-oblivious are fundamentally different and we cannot hope to always achieve
the same attack or defense results in these scenarios.
- Abstract(参考訳): 殺人攻撃は、機械学習アルゴリズムに対する重要なセキュリティ脅威として浮上している。
特別に作られたデータポイントを追加するなど、トレーニングセットに小さな変更を加えた敵が、アウトプットモデルのパフォーマンスを損なう可能性があることが実証されている。
強力な毒殺攻撃のいくつかは、トレーニングデータの完全な知識を必要とする。
これにより、クリーントレーニングセットに関する完全な知識を持たない毒殺攻撃によって、同じ攻撃結果が得られる可能性がある。
本研究では,上記の問題に関する理論的研究を開始する。
具体的には、lassoによる特徴選択の場合、トレーニングセットに従わないがデータ分布にアクセスできない最適な攻撃者よりも、全情報敵(訓練データの他の部分に基づく職人毒の例)が確実に強くなることを示す。
分離結果から,データ認識とデータ記述の2つの設定は根本的に異なっており,同じ攻撃や防御結果が常に達成されることは望めない。
関連論文リスト
- Wicked Oddities: Selectively Poisoning for Effective Clean-Label Backdoor Attacks [11.390175856652856]
クリーンラベル攻撃は、毒性のあるデータのラベルを変更することなく攻撃を行うことができる、よりステルスなバックドア攻撃である。
本研究は,攻撃成功率を高めるために,標的クラス内の少数の訓練サンプルを選択的に毒殺する方法について検討した。
私たちの脅威モデルは、サードパーティのデータセットで機械学習モデルをトレーニングする上で深刻な脅威となる。
論文 参考訳(メタデータ) (2024-07-15T15:38:21Z) - Indiscriminate Data Poisoning Attacks on Pre-trained Feature Extractors [26.36344184385407]
本稿では,事前訓練した特徴抽出器を応用した下流タスクに対する無差別攻撃の脅威について検討する。
入力空間攻撃とは,(1)既存の攻撃を修正して入力空間に有毒なデータを作る攻撃と,(2)学習した特徴表現をデータセットとして扱うことで有毒な特徴を見つける攻撃である。
実験では、同じデータセット上の微調整やドメイン適応を考慮した転帰学習など、下流の一般的なタスクにおける攻撃について検討した。
論文 参考訳(メタデータ) (2024-02-20T01:12:59Z) - Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。
私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。
私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
論文 参考訳(メタデータ) (2022-03-31T18:06:28Z) - Indiscriminate Poisoning Attacks Are Shortcuts [77.38947817228656]
その結果, 標的ラベルを付与した場合, 進行性毒素攻撃の摂動は, ほぼ分離可能であることがわかった。
このような合成摂動は、故意に作られた攻撃と同じくらい強力であることを示す。
我々の発見は、アンフショートカット学習の問題が以前考えられていたよりも深刻であることを示唆している。
論文 参考訳(メタデータ) (2021-11-01T12:44:26Z) - Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。
我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
論文 参考訳(メタデータ) (2021-06-18T08:29:53Z) - Defening against Adversarial Denial-of-Service Attacks [0.0]
データ中毒は、機械学習とデータ駆動技術に対する最も関連するセキュリティ脅威の1つです。
我々は,dos有毒なインスタンスを検出する新しい手法を提案する。
2つのdos毒殺攻撃と7つのデータセットに対する我々の防御を評価し、毒殺事例を確実に特定できることを確認します。
論文 参考訳(メタデータ) (2021-04-14T09:52:36Z) - What Doesn't Kill You Makes You Robust(er): Adversarial Training against
Poisons and Backdoors [57.040948169155925]
敵対的なトレーニングフレームワークを拡張し、(訓練時間)中毒やバックドア攻撃から防御します。
本手法は, トレーニング中に毒を発生させ, トレーニングバッチに注入することにより, ネットワークを中毒の影響に敏感化する。
この防御は、適応攻撃に耐え、多様な脅威モデルに一般化し、以前の防御よりも優れた性能のトレードオフをもたらすことを示す。
論文 参考訳(メタデータ) (2021-02-26T17:54:36Z) - Property Inference From Poisoning [15.105224455937025]
プロパティ推論攻撃は、トレーニングされたモデルにアクセスでき、トレーニングデータのグローバルな統計を抽出しようとする敵を考える。
本研究では,モデルの情報漏洩を増大させることが目的とする中毒攻撃について検討する。
以上より,毒殺攻撃は情報漏洩を著しく促進し,敏感なアプリケーションにおいてより強力な脅威モデルと見なされるべきであることが示唆された。
論文 参考訳(メタデータ) (2021-01-26T20:35:28Z) - Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。
我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。
フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
論文 参考訳(メタデータ) (2020-09-04T16:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。