論文の概要: On the Effectiveness of Mitigating Data Poisoning Attacks with Gradient Shaping

• arxiv url: http://arxiv.org/abs/2002.11497v2
• Date: Thu, 27 Feb 2020 19:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 15:44:48.350727
• Title: On the Effectiveness of Mitigating Data Poisoning Attacks with Gradient Shaping
• Title（参考訳）: 勾配整形によるデータ中毒攻撃の緩和効果について
• Authors: Sanghyun Hong, Varun Chandrasekaran, Yi\u{g}itcan Kaya, Tudor Dumitra\c{s}, Nicolas Papernot
• Abstract要約: 機械学習アルゴリズムは、データ中毒攻撃に弱い。 本研究は,全ての中毒攻撃に共通するアーティファクトに依存する攻撃非依存防衛の実現可能性について検討する。
• 参考スコア（独自算出の注目度）: 36.41173109033075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning algorithms are vulnerable to data poisoning attacks. Prior taxonomies that focus on specific scenarios, e.g., indiscriminate or targeted, have enabled defenses for the corresponding subset of known attacks. Yet, this introduces an inevitable arms race between adversaries and defenders. In this work, we study the feasibility of an attack-agnostic defense relying on artifacts that are common to all poisoning attacks. Specifically, we focus on a common element between all attacks: they modify gradients computed to train the model. We identify two main artifacts of gradients computed in the presence of poison: (1) their $\ell_2$ norms have significantly higher magnitudes than those of clean gradients, and (2) their orientation differs from clean gradients. Based on these observations, we propose the prerequisite for a generic poisoning defense: it must bound gradient magnitudes and minimize differences in orientation. We call this gradient shaping. As an exemplar tool to evaluate the feasibility of gradient shaping, we use differentially private stochastic gradient descent (DP-SGD), which clips and perturbs individual gradients during training to obtain privacy guarantees. We find that DP-SGD, even in configurations that do not result in meaningful privacy guarantees, increases the model's robustness to indiscriminate attacks. It also mitigates worst-case targeted attacks and increases the adversary's cost in multi-poison scenarios. The only attack we find DP-SGD to be ineffective against is a strong, yet unrealistic, indiscriminate attack. Our results suggest that, while we currently lack a generic poisoning defense, gradient shaping is a promising direction for future research.
• Abstract（参考訳）: 機械学習アルゴリズムは、データ中毒攻撃に弱い。 特定のシナリオ、例えば無差別または標的に焦点を当てた以前の分類学は、既知の攻撃の対応するサブセットに対する防御を可能にした。 しかし、これは敵と守備隊の必然的な武器競争をもたらす。 本研究では,すべての中毒攻撃に共通するアーティファクトに依存する攻撃非依存な防御の実現可能性について検討する。 具体的には、すべてのアタックの共通要素に注目し、モデルをトレーニングするために計算された勾配を変更する。 毒物の存在下で計算された勾配の2つの主要な成果物を同定する: (1) それらの$\ell_2$ のノルムはクリーン勾配のものとかなり高い等級を持ち、(2) それらの向きはクリーン勾配とは異なる。 これらの観測に基づいて, 汎用的な防毒対策の前提条件として, 勾配の等級を束縛し, 配向の差を最小限に抑える必要がある。 これを勾配整形と呼ぶ。 グラデーションシェーピングの実現可能性を評価するための例として,トレーニング中の個々のグラデーションをクリップし,摂動させる差分プライベート確率勾配降下(dp-sgd)を用いて,プライバシ保証を得る。 DP-SGDは、意味のあるプライバシー保証が得られない構成であっても、攻撃を非差別化するためのモデルの堅牢性を高める。 また、最悪の攻撃を緩和し、マルチポゾンシナリオにおける敵のコストを増加させる。 DP-SGDが効果がないと分かった唯一の攻撃は、強いが非現実的で差別的な攻撃である。 以上の結果から,現在一般的な中毒防御が欠けているが,勾配形成は今後の研究に有望な方向性であることが示唆された。

関連論文リスト

• Inverting Gradient Attacks Naturally Makes Data Poisons: An Availability Attack on Neural Networks [12.80649024603656]
  グラディエントアタックと、それらを変更する機械学習アルゴリズムによるデータ中毒は、設定で同等であることが証明されている。 データ中毒は、ニューラルネットワークを攻撃するために勾配攻撃を模倣することを示す。
  論文  参考訳（メタデータ） (2024-10-28T18:57:15Z)
• DiffAttack: Evasion Attacks Against Diffusion-Based Adversarial Purification [63.65630243675792]
  拡散に基づく浄化防御は拡散モデルを利用して、敵の例の人工摂動を除去する。 近年の研究では、先進的な攻撃でさえ、そのような防御を効果的に破壊できないことが示されている。 拡散型浄化防衛を効果的かつ効率的に行うための統合フレームワークDiffAttackを提案する。
  論文  参考訳（メタデータ） (2023-10-27T15:17:50Z)
• IDEA: Invariant Defense for Graph Adversarial Robustness [60.0126873387533]
  敵攻撃に対する不変因果判定法(IDEA)を提案する。 我々は,情報理論の観点から,ノードと構造に基づく分散目標を導出する。 実験によると、IDEAは5つのデータセットすべてに対する5つの攻撃に対して、最先端の防御性能を達成している。
  論文  参考訳（メタデータ） (2023-05-25T07:16:00Z)
• Towards Reasonable Budget Allocation in Untargeted Graph Structure Attacks via Gradient Debias [50.628150015907565]
  クロスエントロピー損失関数は、分類タスクにおける摂動スキームを評価するために用いられる。 従来の手法ではノードレベルの分類モデルを攻撃する攻撃対象として負のクロスエントロピー損失を用いる。 本稿では、予算配分の観点から、これまでの不合理な攻撃目標について論じる。
  論文  参考訳（メタデータ） (2023-03-29T13:02:02Z)
• Not All Poisons are Created Equal: Robust Training against Data Poisoning [15.761683760167777]
  データ中毒は、トレーニングデータに悪意ある工芸品のサンプルを注入することで、テスト時間対象のサンプルを誤分類する。 各種データ中毒攻撃の成功率を大幅に低減する効率的な防御機構を提案する。
  論文  参考訳（メタデータ） (2022-10-18T08:19:41Z)
• Defending against the Label-flipping Attack in Federated Learning [5.769445676575767]
  フェデレーテッド・ラーニング(FL)は、参加する仲間にデザインによる自律性とプライバシを提供する。 ラベルフリッピング(LF)攻撃(英: label-flipping, LF)は、攻撃者がラベルをめくってトレーニングデータに毒を盛る攻撃である。 本稿では、まず、ピアのローカル更新からこれらの勾配を動的に抽出する新しいディフェンスを提案する。
  論文  参考訳（メタデータ） (2022-07-05T12:02:54Z)
• Adversarially Robust Classification by Conditional Generative Model Inversion [4.913248451323163]
  本稿では,攻撃の事前知識を仮定することなく,勾配を難読化せず,構造的に堅牢な分類モデルを提案する。 提案手法は,未成熟な自然画像に基づいて訓練された条件生成器を「反転」する最適化問題である。 我々のモデルはブラックボックス攻撃に対して非常に堅牢であり、ホワイトボックス攻撃に対するロバスト性を改善したことを実証する。
  論文  参考訳（メタデータ） (2022-01-12T23:11:16Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。