論文の概要: Deep Partition Aggregation: Provable Defense against General Poisoning
Attacks
- arxiv url: http://arxiv.org/abs/2006.14768v2
- Date: Thu, 18 Mar 2021 05:50:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 20:55:15.809359
- Title: Deep Partition Aggregation: Provable Defense against General Poisoning
Attacks
- Title(参考訳): ディープパーティショニングアグリゲーション:一般的な中毒攻撃に対する防御性
- Authors: Alexander Levine, Soheil Feizi
- Abstract要約: アドリアリン中毒は、分類器の試験時間挙動を損なうために訓練データを歪ませる。
毒殺攻撃に対する2つの新たな防御策を提案する。
DPAは一般的な中毒脅威モデルに対する認証された防御である。
SS-DPAはラベルフリップ攻撃に対する認証された防御である。
- 参考スコア(独自算出の注目度): 136.79415677706612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial poisoning attacks distort training data in order to corrupt the
test-time behavior of a classifier. A provable defense provides a certificate
for each test sample, which is a lower bound on the magnitude of any
adversarial distortion of the training set that can corrupt the test sample's
classification. We propose two novel provable defenses against poisoning
attacks: (i) Deep Partition Aggregation (DPA), a certified defense against a
general poisoning threat model, defined as the insertion or deletion of a
bounded number of samples to the training set -- by implication, this threat
model also includes arbitrary distortions to a bounded number of images and/or
labels; and (ii) Semi-Supervised DPA (SS-DPA), a certified defense against
label-flipping poisoning attacks. DPA is an ensemble method where base models
are trained on partitions of the training set determined by a hash function.
DPA is related to both subset aggregation, a well-studied ensemble method in
classical machine learning, as well as to randomized smoothing, a popular
provable defense against evasion attacks. Our defense against label-flipping
attacks, SS-DPA, uses a semi-supervised learning algorithm as its base
classifier model: each base classifier is trained using the entire unlabeled
training set in addition to the labels for a partition. SS-DPA significantly
outperforms the existing certified defense for label-flipping attacks on both
MNIST and CIFAR-10: provably tolerating, for at least half of test images, over
600 label flips (vs. < 200 label flips) on MNIST and over 300 label flips (vs.
175 label flips) on CIFAR-10. Against general poisoning attacks, where no prior
certified defenses exists, DPA can certify >= 50% of test images against over
500 poison image insertions on MNIST, and nine insertions on CIFAR-10. These
results establish new state-of-the-art provable defenses against poisoning
attacks.
- Abstract(参考訳): 逆毒は、分類器の試験時間挙動を損なうために歪んだ訓練データを攻撃する。
証明可能な防御は、各テストサンプルの証明書を提供するが、これは、テストサンプルの分類を損なう可能性のあるトレーニングセットの敵対的歪みの大きさに対する下限である。
我々は2つの新たな防犯策を提案する。
(i) 一般中毒脅威モデルに対する認定防御である深層分割集約(dpa)は、トレーニングセットへの有界なサンプル数の挿入または削除として定義されており、この脅威モデルは、有界な画像及び/又はラベルに対する任意の歪みを含む。
(ii)半監督dpa(ss-dpa)は、ラベルを貼る毒殺攻撃に対する認定防御である。
dpaは、ハッシュ関数によって決定されるトレーニングセットのパーティションに基づいてベースモデルをトレーニングするアンサンブル手法である。
dpaは、古典的な機械学習でよく研究されたアンサンブルであるサブセットアグリゲーションと、回避攻撃に対する一般的な証明可能な防御であるランダム化スムージングの両方に関連している。
SS-DPAは半教師付き学習アルゴリズムをベース分類器モデルとして使用しており、各基本分類器は分割のためのラベルに加えてラベル付きトレーニングセット全体を用いて訓練される。
SS-DPAは、MNISTとCIFAR-10の双方に対するラベルフリップ攻撃に対する既存の認証された防御よりも、MNIST上の600以上のラベルフリップ(vs. < 200のラベルフリップ)と、CIFAR-10上の300以上のラベルフリップ(vs. 175のラベルフリップ)において、確実に許容できる。
事前に認証された防御が存在しない一般的な中毒攻撃に対して、dpaはテスト画像の50%以上をmnistに500以上の毒画像が挿入され、cifar-10に9回挿入されたことを証明できる。
これらの結果は、毒殺攻撃に対する新しい最先端証明可能な防御を確立する。
関連論文リスト
- FCert: Certifiably Robust Few-Shot Classification in the Era of Foundation Models [38.019489232264796]
FCertは、データ中毒攻撃に対する最初の認証された防御法であり、数発の分類である。
1)攻撃なしでの分類精度を維持すること,2)データ中毒攻撃に対する既存の認証された防御能力を上回ること,3)効率的で汎用的なこと,である。
論文 参考訳(メタデータ) (2024-04-12T17:50:40Z) - Diffusion Denoising as a Certified Defense against Clean-label Poisoning [56.04951180983087]
本稿では,市販の拡散モデルを用いて,改ざんしたトレーニングデータを浄化する方法を示す。
7件のクリーンラベル中毒に対する我々の防御を広範囲に検証し、その攻撃成功率を0-16%に抑え、テスト時間の精度は無視できない程度に低下した。
論文 参考訳(メタデータ) (2024-03-18T17:17:07Z) - PACOL: Poisoning Attacks Against Continual Learners [1.569413950416037]
本研究では,悪意ある誤報によって連続学習システムを操作できることを実証する。
本稿では,連続学習者を対象としたデータ中毒攻撃の新たなカテゴリについて紹介する。
総合的な実験のセットは、一般的に使われている生成的リプレイと正規化に基づく攻撃方法に対する継続的な学習アプローチの脆弱性を示している。
論文 参考訳(メタデータ) (2023-11-18T00:20:57Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳(メタデータ) (2023-10-18T11:36:42Z) - Understanding the Vulnerability of Skeleton-based Human Activity Recognition via Black-box Attack [53.032801921915436]
HAR(Human Activity Recognition)は、自動運転車など、幅広い用途に採用されている。
近年,敵対的攻撃に対する脆弱性から,骨格型HAR法の堅牢性に疑問が呈されている。
攻撃者がモデルの入出力しかアクセスできない場合でも、そのような脅威が存在することを示す。
BASARと呼ばれる骨格をベースとしたHARにおいて,最初のブラックボックス攻撃手法を提案する。
論文 参考訳(メタデータ) (2022-11-21T09:51:28Z) - Lethal Dose Conjecture on Data Poisoning [122.83280749890078]
データ中毒は、悪意のある目的のために機械学習アルゴリズムのトレーニングセットを歪ませる敵を考える。
本研究は, 致死線量導出法(Lethal Dose Conjecture)とよばれるデータ中毒の基礎について, 1つの予想を立証するものである。
論文 参考訳(メタデータ) (2022-08-05T17:53:59Z) - Improved Certified Defenses against Data Poisoning with (Deterministic)
Finite Aggregation [122.83280749890078]
本報告では, 一般中毒に対する予防的対策として, フィニット・アグリゲーション(Finite Aggregation)を提案する。
トレーニングセットを直接非結合部分集合に分割するDPAとは対照的に、我々の方法はまず、トレーニングセットをより小さな非結合部分集合に分割する。
我々は、決定論的および集約的認証された防御設計をブリッジして、我々の方法の代替的な見解を提供する。
論文 参考訳(メタデータ) (2022-02-05T20:08:58Z) - A BIC based Mixture Model Defense against Data Poisoning Attacks on
Classifiers [24.53226962899903]
Data Poisoning (DP) は、訓練された分類器が入力を誤って分類する効果的な攻撃である。
本稿では,DP攻撃に対する新しい混合モデル防御法を提案する。
論文 参考訳(メタデータ) (2021-05-28T01:06:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。