論文の概要: Accumulative Poisoning Attacks on Real-time Data

• arxiv url: http://arxiv.org/abs/2106.09993v1
• Date: Fri, 18 Jun 2021 08:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:11:22.892282
• Title: Accumulative Poisoning Attacks on Real-time Data
• Title（参考訳）: リアルタイムデータに対する累積中毒攻撃
• Authors: Tianyu Pang, Xiao Yang, Yinpeng Dong, Hang Su, Jun Zhu
• Abstract要約: 我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
• 参考スコア（独自算出の注目度）: 56.96241557830253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collecting training data from untrusted sources exposes machine learning services to poisoning adversaries, who maliciously manipulate training data to degrade the model accuracy. When trained on offline datasets, poisoning adversaries have to inject the poisoned data in advance before training, and the order of feeding these poisoned batches into the model is stochastic. In contrast, practical systems are more usually trained/fine-tuned on sequentially captured real-time data, in which case poisoning adversaries could dynamically poison each data batch according to the current model state. In this paper, we focus on the real-time settings and propose a new attacking strategy, which affiliates an accumulative phase with poisoning attacks to secretly (i.e., without affecting accuracy) magnify the destructive effect of a (poisoned) trigger batch. By mimicking online learning and federated learning on CIFAR-10, we show that the model accuracy will significantly drop by a single update step on the trigger batch after the accumulative phase. Our work validates that a well-designed but straightforward attacking strategy can dramatically amplify the poisoning effects, with no need to explore complex techniques.
• Abstract（参考訳）: 信頼できない情報源からのトレーニングデータ収集は、モデルの精度を低下させるためにトレーニングデータを悪意を持って操作する敵を毒殺する機械学習サービスを公開する。 オフラインデータセットでトレーニングを行う場合、毒付け敵はトレーニング前に毒付きデータを事前に注入しなければならず、毒付きバッチをモデルに供給する順序は確率的である。 対照的に、実用的なシステムは、一般的に、連続的にキャプチャされたリアルタイムデータに基づいて訓練/微調整されており、敵を毒殺した場合は、現在のモデル状態に応じて各データバッチを動的に毒殺することができる。 本稿では,リアルタイム設定に着目し,(汚染された)トリガーバッチの破壊効果を(精度に影響を与えずに)秘かに拡大する累積的な攻撃フェーズを関連付ける新たな攻撃戦略を提案する。 CIFAR-10上でのオンライン学習とフェデレーション学習を模倣することにより、累積フェーズ後のトリガバッチにおいて、モデル精度が1回の更新ステップで大幅に低下することを示す。 我々の研究は、よく設計されているが簡単な攻撃戦略が、複雑なテクニックを探索する必要なしに、中毒効果を劇的に増幅できることを検証する。

関連論文リスト

• Wicked Oddities: Selectively Poisoning for Effective Clean-Label Backdoor Attacks [11.390175856652856]
  クリーンラベル攻撃は、毒性のあるデータのラベルを変更することなく攻撃を行うことができる、よりステルスなバックドア攻撃である。 本研究は,攻撃成功率を高めるために,標的クラス内の少数の訓練サンプルを選択的に毒殺する方法について検討した。 私たちの脅威モデルは、サードパーティのデータセットで機械学習モデルをトレーニングする上で深刻な脅威となる。
  論文  参考訳（メタデータ） (2024-07-15T15:38:21Z)
• PACOL: Poisoning Attacks Against Continual Learners [1.569413950416037]
  本研究では,悪意ある誤報によって連続学習システムを操作できることを実証する。 本稿では,連続学習者を対象としたデータ中毒攻撃の新たなカテゴリについて紹介する。 総合的な実験のセットは、一般的に使われている生成的リプレイと正規化に基づく攻撃方法に対する継続的な学習アプローチの脆弱性を示している。
  論文  参考訳（メタデータ） (2023-11-18T00:20:57Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Indiscriminate Poisoning Attacks Are Shortcuts [77.38947817228656]
  その結果, 標的ラベルを付与した場合, 進行性毒素攻撃の摂動は, ほぼ分離可能であることがわかった。 このような合成摂動は、故意に作られた攻撃と同じくらい強力であることを示す。 我々の発見は、アンフショートカット学習の問題が以前考えられていたよりも深刻であることを示唆している。
  論文  参考訳（メタデータ） (2021-11-01T12:44:26Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching [56.280018325419896]
  Data Poisoning攻撃は、トレーニングデータを変更して、そのようなデータでトレーニングされたモデルを悪意を持って制御する。 我々は「スクラッチから」と「クリーンラベルから」の両方である特に悪意のある毒物攻撃を分析します。 フルサイズで有毒なImageNetデータセットをスクラッチからトレーニングした現代のディープネットワークにおいて、ターゲットの誤分類を引き起こすのは、これが初めてであることを示す。
  論文  参考訳（メタデータ） (2020-09-04T16:17:54Z)
• Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks [74.88735178536159]
  データ中毒は、モデル盗難から敵の攻撃まで、脅威の中で一番の懸念事項だ。 データ中毒やバックドア攻撃は、テスト設定のバリエーションに非常に敏感である。 厳格なテストを適用して、それらを恐れるべき程度を判断します。
  論文  参考訳（メタデータ） (2020-06-22T18:34:08Z)
• A Separation Result Between Data-oblivious and Data-aware Poisoning Attacks [40.044030156696145]
  殺人攻撃は、機械学習アルゴリズムに対する重要なセキュリティ脅威として浮上している。 強力な毒殺攻撃のいくつかは、トレーニングデータの完全な知識を必要とする。 本研究は,全情報相手が最適攻撃者よりも確実に強いことを示す。
  論文  参考訳（メタデータ） (2020-03-26T16:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。