論文の概要: Neurotoxin: Durable Backdoors in Federated Learning

• arxiv url: http://arxiv.org/abs/2206.10341v1
• Date: Sun, 12 Jun 2022 16:52:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 12:16:32.680200
• Title: Neurotoxin: Durable Backdoors in Federated Learning
• Title（参考訳）: 神経毒 : フェデレート学習における持続的なバックドア
• Authors: Zhengming Zhang, Ashwinee Panda, Linyue Song, Yaoqing Yang, Michael W. Mahoney, Joseph E. Gonzalez, Kannan Ramchandran, Prateek Mittal
• Abstract要約: 連合学習システムは バックドア攻撃の訓練中に 固有の脆弱性がある 我々は,既存のバックドア攻撃に対する単純な一直線修正であるニューロトキシンを提案する。
• 参考スコア（独自算出の注目度）: 73.82725064553827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to their decentralized nature, federated learning (FL) systems have an inherent vulnerability during their training to adversarial backdoor attacks. In this type of attack, the goal of the attacker is to use poisoned updates to implant so-called backdoors into the learned model such that, at test time, the model's outputs can be fixed to a given target for certain inputs. (As a simple toy example, if a user types "people from New York" into a mobile keyboard app that uses a backdoored next word prediction model, then the model could autocomplete the sentence to "people from New York are rude"). Prior work has shown that backdoors can be inserted into FL models, but these backdoors are often not durable, i.e., they do not remain in the model after the attacker stops uploading poisoned updates. Thus, since training typically continues progressively in production FL systems, an inserted backdoor may not survive until deployment. Here, we propose Neurotoxin, a simple one-line modification to existing backdoor attacks that acts by attacking parameters that are changed less in magnitude during training. We conduct an exhaustive evaluation across ten natural language processing and computer vision tasks, and we find that we can double the durability of state of the art backdoors.
• Abstract（参考訳）: 分散した性質のため、フェデレーション学習(fl)システムは、敵のバックドア攻撃に対するトレーニング中に固有の脆弱性を持つ。 この種の攻撃では、攻撃者の目標は、いわゆるバックドアを学習モデルに埋め込むために毒殺アップデートを使用することであり、テスト時にモデルの出力を特定の入力に対して所定のターゲットに固定することができる。 (単純なおもちゃの例として、もしユーザーが「ニューヨーク出身の人」を、バックドア付き次の単語予測モデルを使用するモバイルキーボードアプリに入力すれば、このモデルは「ニューヨーク出身の人は失礼な人」に自動補完することができる)。 以前の研究では、バックドアはflモデルに挿入可能であることが示されているが、これらのバックドアは耐久性がないことが多い。 したがって、通常、訓練は運用中のflシステムで徐々に続けられるので、挿入されたバックドアは展開まで存続しない。 本稿では,既存のバックドア攻撃に対する単純なワンライン修正であるニューロトキシンを提案する。 自然言語処理とコンピュータビジョンのタスクを10タスクにわたって徹底的に評価し,アートバックドアの耐久性を2倍にできることを確認した。

関連論文リスト

• Expose Before You Defend: Unifying and Enhancing Backdoor Defenses via Exposed Models [68.40324627475499]
  本稿では,Expose Before You Defendという新しい2段階防衛フレームワークを紹介する。 EBYDは既存のバックドア防御手法を総合防衛システムに統合し、性能を向上する。 2つの視覚データセットと4つの言語データセットにまたがる10のイメージアタックと6つのテキストアタックに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-10-25T09:36:04Z)
• Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
  データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。 本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。 PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:52:26Z)
• PatchBackdoor: Backdoor Attack against Deep Neural Networks without Model Modification [0.0]
  バックドア攻撃は、安全クリティカルなシナリオにおけるディープラーニングシステムに対する大きな脅威である。 本稿では,モデル変更なしにバックドア攻撃が可能であることを示す。 PatchBackdoorを現実のシナリオで実装し、攻撃がまだ脅威であることを示す。
  論文  参考訳（メタデータ） (2023-08-22T23:02:06Z)
• BackdoorBox: A Python Toolbox for Backdoor Learning [67.53987387581222]
  このPythonツールボックスは、代表的で高度なバックドア攻撃と防御を実装している。 研究者や開発者は、ベンチマークやローカルデータセットで、さまざまなメソッドを簡単に実装し、比較することができる。
  論文  参考訳（メタデータ） (2023-02-01T09:45:42Z)
• Can Backdoor Attacks Survive Time-Varying Models? [35.836598031681426]
  バックドアはディープニューラルネットワーク(DNN)に対する強力な攻撃 バックドア攻撃が時間変化DNNモデルのより現実的なシナリオに与える影響について検討する。 以上の結果から, ワンショットバックドア攻撃は, 数回のモデル更新以降は生き残らないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-06-08T01:32:49Z)
• Check Your Other Door! Establishing Backdoor Attacks in the Frequency Domain [80.24811082454367]
  検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。 また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
  論文  参考訳（メタデータ） (2021-09-12T12:44:52Z)
• Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution [57.51117978504175]
  最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。 バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。 単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:17Z)
• Attack of the Tails: Yes, You Really Can Backdoor Federated Learning [21.06925263586183]
  フェデレーテッド・ラーニング(FL)は、訓練中にバックドアの形で敵の攻撃を仕掛ける。 エッジケースのバックドアは、トレーニングの一部としてはありそうにない一見簡単な入力、すなわち入力分布の尾に生息するテストデータに対して、モデルに誤った分類を強制する。 これらのエッジケースのバックドアが不便な失敗を招き、フェアネスに深刻な反感を与える可能性があることを示す。
  論文  参考訳（メタデータ） (2020-07-09T21:50:54Z)
• Blind Backdoors in Deep Learning Models [22.844973592524966]
  本稿では,機械学習モデルにバックドアを注入する新しい手法について検討する。 従来の文献よりも厳格に強力なバックドアの新たなクラスを実証するために使用しています。 攻撃者はトレーニングデータを変更したり、コードの実行を観察したり、結果のモデルにアクセスしたりすることができません。
  論文  参考訳（メタデータ） (2020-05-08T02:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。