論文の概要: Manipulating SGD with Data Ordering Attacks

• arxiv url: http://arxiv.org/abs/2104.09667v1
• Date: Mon, 19 Apr 2021 22:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 02:47:37.923805
• Title: Manipulating SGD with Data Ordering Attacks
• Title（参考訳）: データ順序攻撃によるSGDの操作
• Authors: Ilia Shumailov, Zakhar Shumaylov, Dmitry Kazhdan, Yiren Zhao, Nicolas Papernot, Murat A. Erdogdu, Ross Anderson
• Abstract要約: 基礎となるモデルデータセットやアーキテクチャを変更する必要のない,一連のトレーニングタイムアタックを提示する。 特に、アタッカーはトレーニングバッチをリオーダーするだけでモデルの完全性と可用性を損なう可能性がある。 攻撃は、攻撃後数百エポックというモデル性能を低下させるという長期的な影響をもたらす。
• 参考スコア（独自算出の注目度）: 23.639512087220137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning is vulnerable to a wide variety of different attacks. It is now well understood that by changing the underlying data distribution, an adversary can poison the model trained with it or introduce backdoors. In this paper we present a novel class of training-time attacks that require no changes to the underlying model dataset or architecture, but instead only change the order in which data are supplied to the model. In particular, an attacker can disrupt the integrity and availability of a model by simply reordering training batches, with no knowledge about either the model or the dataset. Indeed, the attacks presented here are not specific to the model or dataset, but rather target the stochastic nature of modern learning procedures. We extensively evaluate our attacks to find that the adversary can disrupt model training and even introduce backdoors. For integrity we find that the attacker can either stop the model from learning, or poison it to learn behaviours specified by the attacker. For availability we find that a single adversarially-ordered epoch can be enough to slow down model learning, or even to reset all of the learning progress. Such attacks have a long-term impact in that they decrease model performance hundreds of epochs after the attack took place. Reordering is a very powerful adversarial paradigm in that it removes the assumption that an adversary must inject adversarial data points or perturbations to perform training-time attacks. It reminds us that stochastic gradient descent relies on the assumption that data are sampled at random. If this randomness is compromised, then all bets are off.
• Abstract（参考訳）: 機械学習はさまざまな種類の攻撃に対して脆弱である。 現在よく理解されているのは、基盤となるデータ分布を変更することで、敵がトレーニングしたモデルに毒を塗ったり、バックドアを導入することができるということだ。 本稿では,基礎となるモデルデータセットやアーキテクチャを変更することなく,モデルにデータを供給する順序を変更する,新たなトレーニングタイム攻撃のクラスを提案する。 特に、アタッカーは、モデルまたはデータセットの両方に関する知識なしで、トレーニングバッチを単に順序変更することで、モデルの完全性と可用性を損なう可能性がある。 実際、ここで提示される攻撃はモデルやデータセットに特有ではなく、現代の学習手順の確率的な性質をターゲットにしている。 攻撃を広範囲に評価して、敵がモデルのトレーニングを中断し、バックドアも導入できることを確認しました。 整合性のために、攻撃者はモデルを学習から止めるか、あるいは攻撃者が指定した振る舞いを学習するために毒を塗ることができる。 可用性のため、1つの逆順のエポックがモデル学習を遅くしたり、学習の進捗をリセットするのに十分であることがわかった。 このような攻撃は、攻撃後数百エポックというモデル性能を低下させるという長期的な影響をもたらす。 並べ替えは、敵が訓練時攻撃を行うために敵のデータポイントや摂動を注入しなければならないという仮定を取り除くという非常に強力な敵のパラダイムである。 確率勾配降下は、データがランダムにサンプリングされるという仮定に依存する。 このランダム性が損なわれた場合、すべての賭けはオフとなる。

関連論文リスト

• Wicked Oddities: Selectively Poisoning for Effective Clean-Label Backdoor Attacks [11.390175856652856]
  クリーンラベル攻撃は、毒性のあるデータのラベルを変更することなく攻撃を行うことができる、よりステルスなバックドア攻撃である。 本研究は,攻撃成功率を高めるために,標的クラス内の少数の訓練サンプルを選択的に毒殺する方法について検討した。 私たちの脅威モデルは、サードパーティのデータセットで機械学習モデルをトレーニングする上で深刻な脅威となる。
  論文  参考訳（メタデータ） (2024-07-15T15:38:21Z)
• Model Inversion Attack against Transfer Learning: Inverting a Model without Accessing It [41.39995986856193]
  トランスファーラーニングは、事前訓練された教師モデルを生成する重要なアプローチである。 転送学習に関する最近の研究により、様々な攻撃に対して脆弱であることが判明した。 モデル反転攻撃に対してトランスファーラーニングが脆弱であるかどうかはまだ不明である。
  論文  参考訳（メタデータ） (2022-03-13T05:07:02Z)
• On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
  バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。 一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。 本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-22T02:24:46Z)
• Learning to Learn Transferable Attack [77.67399621530052]
  転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。 本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。 提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
  論文  参考訳（メタデータ） (2021-12-10T07:24:21Z)
• Adversarial Transfer Attacks With Unknown Data and Class Overlap [19.901933940805684]
  現在の移動攻撃の研究は、攻撃者にとって非現実的な優位性を持っている。 攻撃者および被害者が不完全な設定で利用可能なデータに着目した敵攻撃の転送に関する最初の研究について述べる。 この脅威モデルは、医学、マルウェアなどの応用に関係している。
  論文  参考訳（メタデータ） (2021-09-23T03:41:34Z)
• Accumulative Poisoning Attacks on Real-time Data [56.96241557830253]
  我々は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを示します。 我々の研究は、よく設計されたが簡単な攻撃戦略が、中毒効果を劇的に増幅できることを検証する。
  論文  参考訳（メタデータ） (2021-06-18T08:29:53Z)
• Learning to Attack: Towards Textual Adversarial Attacking in Real-world Situations [81.82518920087175]
  敵攻撃は、敵の例でディープニューラルネットワークを騙すことを目的としている。 本稿では、攻撃履歴から学習し、より効率的に攻撃を開始することができる強化学習に基づく攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-19T09:12:24Z)
• Adversarial examples are useful too! [47.64219291655723]
  モデルがバックドア攻撃を受けたかどうかを判断する新しい手法を提案する。 その考え方は、FGSMのような従来の攻撃を用いて、標的または未標的の敵の例を生成することである。 障害のある地域を視覚的に見つけて、攻撃を露呈することができる。
  論文  参考訳（メタデータ） (2020-05-13T01:38:56Z)
• Adversarial Imitation Attack [63.76805962712481]
  現実的な敵攻撃は、攻撃されたモデルの知識をできるだけ少なくする必要がある。 現在の代替攻撃では、敵の例を生成するために事前訓練されたモデルが必要である。 本研究では,新たな敵模倣攻撃を提案する。
  論文  参考訳（メタデータ） (2020-03-28T10:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。