論文の概要: Provable Guarantees against Data Poisoning Using Self-Expansion and
Compatibility
- arxiv url: http://arxiv.org/abs/2105.03692v1
- Date: Sat, 8 May 2021 13:01:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 15:08:47.265700
- Title: Provable Guarantees against Data Poisoning Using Self-Expansion and
Compatibility
- Title(参考訳): 自己拡張と適合性を用いたデータ汚染防止対策
- Authors: Charles Jin, Melinda Sun, Martin Rinard
- Abstract要約: 最近の研究で、ディープネットワークはバックドアデータ中毒の攻撃を受けやすいことが示されている。
トレーニングセットから中毒データを削除するための反復トレーニング手順を提案します。
実証的な方法では,最先端のバックドア攻撃に対する防御に成功している。
- 参考スコア(独自算出の注目度): 6.807275190841031
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A recent line of work has shown that deep networks are highly susceptible to
backdoor data poisoning attacks. Specifically, by injecting a small amount of
malicious data into the training distribution, an adversary gains the ability
to control the model's behavior during inference. In this work, we propose an
iterative training procedure for removing poisoned data from the training set.
Our approach consists of two steps. We first train an ensemble of weak learners
to automatically discover distinct subpopulations in the training set. We then
leverage a boosting framework to recover the clean data. Empirically, our
method successfully defends against several state-of-the-art backdoor attacks,
including both clean and dirty label attacks. We also present results from an
independent third-party evaluation including a recent \textit{adaptive}
poisoning adversary. The results indicate our approach is competitive with
existing defenses against backdoor attacks on deep neural networks, and
significantly outperforms the state-of-the-art in several scenarios.
- Abstract(参考訳): 最近の研究で、ディープネットワークはバックドアデータ中毒の攻撃を受けやすいことが示されている。
具体的には、少数の悪意のあるデータをトレーニング分布に注入することにより、敵は推論中にモデルの振る舞いを制御する能力を得る。
本研究では,このトレーニングセットから有毒データを除去する反復的なトレーニング手順を提案する。
私たちのアプローチは2つのステップからなる。
まず,弱い学習者のアンサンブルを訓練し,学習セットの異なる部分集団を自動的に発見する。
そして、クリーンなデータを復元するためにブースティングフレームワークを利用します。
実験的な方法では,クリーンかつ汚いラベル攻撃を含む,最先端のバックドア攻撃に対する防御に成功している。
また,最近の<textit{adaptive}中毒攻撃を含む,独立した第三者による評価結果も提示する。
その結果,本手法はディープニューラルネットワークにおけるバックドア攻撃に対する既存の防御と競合することを示し,いくつかのシナリオにおいて最先端を著しく上回っている。
関連論文リスト
- FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning
Attacks in Federated Learning [98.43475653490219]
フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。
FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。
FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
論文 参考訳(メタデータ) (2023-12-07T16:56:24Z) - Towards Attack-tolerant Federated Learning via Critical Parameter
Analysis [85.41873993551332]
フェデレートされた学習システムは、悪意のあるクライアントが中央サーバーに誤ったアップデートを送信すると、攻撃を害するおそれがある。
本稿では,新たな防衛戦略であるFedCPA(Federated Learning with critical Analysis)を提案する。
攻撃耐性凝集法は, 有害局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒局所モデルでは有毒であるのに対し, 類似したトップkおよびボトムk臨界パラメータを持つ。
論文 参考訳(メタデータ) (2023-08-18T05:37:55Z) - Membership Inference Attacks by Exploiting Loss Trajectory [19.900473800648243]
そこで本研究では,対象モデルのトレーニングプロセス全体から,メンバシップ情報を利用する新たな攻撃手法であるシステムを提案する。
我々の攻撃は、既存の方法よりも0.1%低い偽陽性率で、少なくとも6$times$高い真陽性率を達成する。
論文 参考訳(メタデータ) (2022-08-31T16:02:26Z) - Robust Trajectory Prediction against Adversarial Attacks [84.10405251683713]
ディープニューラルネットワーク(DNN)を用いた軌道予測は、自律運転システムにおいて不可欠な要素である。
これらの手法は敵の攻撃に対して脆弱であり、衝突などの重大な結果をもたらす。
本研究では,敵対的攻撃に対する軌道予測モデルを保護するための2つの重要な要素を同定する。
論文 参考訳(メタデータ) (2022-07-29T22:35:05Z) - Autoregressive Perturbations for Data Poisoning [54.205200221427994]
ソーシャルメディアからのデータスクレイピングは、不正なデータの使用に関する懸念が高まっている。
データ中毒攻撃は、スクラップ対策として提案されている。
より広範なデータセットにアクセスせずに有毒なデータを生成できる自動回帰(AR)中毒を導入する。
論文 参考訳(メタデータ) (2022-06-08T06:24:51Z) - DAD: Data-free Adversarial Defense at Test Time [21.741026088202126]
ディープモデルは敵の攻撃に非常に敏感である。
プライバシは、トレーニングデータではなく、トレーニングされたモデルのみへのアクセスを制限する、重要な関心事になっている。
我々は,「訓練データと統計値の欠如によるテスト時敵防衛」という全く新しい問題を提案する。
論文 参考訳(メタデータ) (2022-04-04T15:16:13Z) - Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.866927712193416]
トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。
私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。
私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
論文 参考訳(メタデータ) (2022-03-31T18:06:28Z) - Mitigating the Impact of Adversarial Attacks in Very Deep Networks [10.555822166916705]
Deep Neural Network (DNN)モデルにはセキュリティに関する脆弱性がある。
データ中毒による摂動攻撃は、モデルに偽データを注入する複雑な敵対攻撃である。
そこで本研究では,攻撃に依存しない防御手法を提案する。
論文 参考訳(メタデータ) (2020-12-08T21:25:44Z) - How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。
本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。
我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
論文 参考訳(メタデータ) (2020-12-02T15:30:21Z) - Towards Class-Oriented Poisoning Attacks Against Neural Networks [1.14219428942199]
機械学習システムに対する攻撃は、トレーニングデータセットに悪意のあるサンプルを意図的に注入することで、モデルのパフォーマンスを損なう。
そこで本研究では, 破損したモデルに対して, 2つの特定の予測を強制的に行うクラス指向中毒攻撃を提案する。
逆効果の最大化と、有毒なデータ生成の計算複雑性の低減を図るため、勾配に基づくフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-31T19:27:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。