論文の概要: Attack of the Tails: Yes, You Really Can Backdoor Federated Learning

• arxiv url: http://arxiv.org/abs/2007.05084v1
• Date: Thu, 9 Jul 2020 21:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 04:08:23.211754
• Title: Attack of the Tails: Yes, You Really Can Backdoor Federated Learning
• Title（参考訳）: 尻尾のアタック: はい 連合学習をバックドアで
• Authors: Hongyi Wang, Kartik Sreenivasan, Shashank Rajput, Harit Vishwakarma, Saurabh Agarwal, Jy-yong Sohn, Kangwook Lee, Dimitris Papailiopoulos
• Abstract要約: フェデレーテッド・ラーニング(FL)は、訓練中にバックドアの形で敵の攻撃を仕掛ける。 エッジケースのバックドアは、トレーニングの一部としてはありそうにない一見簡単な入力、すなわち入力分布の尾に生息するテストデータに対して、モデルに誤った分類を強制する。 これらのエッジケースのバックドアが不便な失敗を招き、フェアネスに深刻な反感を与える可能性があることを示す。
• 参考スコア（独自算出の注目度）: 21.06925263586183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to its decentralized nature, Federated Learning (FL) lends itself to adversarial attacks in the form of backdoors during training. The goal of a backdoor is to corrupt the performance of the trained model on specific sub-tasks (e.g., by classifying green cars as frogs). A range of FL backdoor attacks have been introduced in the literature, but also methods to defend against them, and it is currently an open question whether FL systems can be tailored to be robust against backdoors. In this work, we provide evidence to the contrary. We first establish that, in the general case, robustness to backdoors implies model robustness to adversarial examples, a major open problem in itself. Furthermore, detecting the presence of a backdoor in a FL model is unlikely assuming first order oracles or polynomial time. We couple our theoretical results with a new family of backdoor attacks, which we refer to as edge-case backdoors. An edge-case backdoor forces a model to misclassify on seemingly easy inputs that are however unlikely to be part of the training, or test data, i.e., they live on the tail of the input distribution. We explain how these edge-case backdoors can lead to unsavory failures and may have serious repercussions on fairness, and exhibit that with careful tuning at the side of the adversary, one can insert them across a range of machine learning tasks (e.g., image classification, OCR, text prediction, sentiment analysis).
• Abstract（参考訳）: 分散学習(federated learning, ffl)は、その性質上、訓練中のバックドアという形での敵の攻撃に寄与する。 バックドアの目標は、訓練されたモデルの特定のサブタスク(例えば、グリーンカーをカエルとして分類することで)のパフォーマンスを損なうことである。 文献には様々なFLバックドア攻撃が紹介されているが、それらに対して防御する方法もあり、現在、FLシステムはバックドアに対して堅牢であるように調整できるかどうか、未解決の問題である。 この作品では、我々は反対の証拠を提示する。 まず、一般的に、バックドアへのロバスト性は、敵の例に対するモデルのロバスト性を意味するが、それ自体は大きなオープン問題である。 さらに、flモデルにおけるバックドアの存在を検出することは、一階のオラクルや多項式時間と仮定する可能性は低い。 理論的結果は、新たなバックドア攻撃のファミリーと組み合わせて、エッジケースバックドアと呼んでいる。 エッジケースのバックドアは、トレーニングの一部としてはありそうにない一見簡単な入力、すなわち入力分布の尾に生息するテストデータに対して、モデルに誤った分類を強制する。 これらのエッジケースのバックドアが不便な失敗を招き、フェアネスに深刻な反感を与える可能性があることを説明し、敵側の注意深いチューニングによって、さまざまな機械学習タスク(画像分類、OCR、テキスト予測、感情分析など)にそれらを挿入できることを示す。

関連論文リスト

• Flatness-aware Sequential Learning Generates Resilient Backdoors [7.969181278996343]
  近年、バックドア攻撃は機械学習モデルのセキュリティに対する新たな脅威となっている。 本稿では,連続学習(CL)技術を活用して,バックドアのCFに対処する。 レジリエントなバックドアを生成可能な,SBL(Sequential Backdoor Learning)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-20T03:30:05Z)
• BaDExpert: Extracting Backdoor Functionality for Accurate Backdoor Input Detection [42.021282816470794]
  我々は,Deep Neural Networks(DNN)に対するバックドア攻撃に対する新しい防御法を提案する。 私たちの防衛は、モデルの生成方法とは独立して機能する開発後防衛のカテゴリに分類されます。 モデル推論におけるバックドア入力をフィルタリングする高精度なバックドア入力検出装置の実現可能性を示す。
  論文  参考訳（メタデータ） (2023-08-23T21:47:06Z)
• Rethinking Backdoor Attacks [122.1008188058615]
  バックドア攻撃では、悪意ある構築されたバックドアの例をトレーニングセットに挿入し、結果のモデルを操作に脆弱にする。 このような攻撃に対する防御は、典型的には、これらの挿入された例をトレーニングセットの外れ値として見ることと、堅牢な統計からのテクニックを使用してそれらを検出し、削除することである。 トレーニングデータ分布に関する構造情報がなければ,バックドア攻撃は自然に発生するデータの特徴と区別できないことを示す。
  論文  参考訳（メタデータ） (2023-07-19T17:44:54Z)
• BackdoorBox: A Python Toolbox for Backdoor Learning [67.53987387581222]
  このPythonツールボックスは、代表的で高度なバックドア攻撃と防御を実装している。 研究者や開発者は、ベンチマークやローカルデータセットで、さまざまなメソッドを簡単に実装し、比較することができる。
  論文  参考訳（メタデータ） (2023-02-01T09:45:42Z)
• Neurotoxin: Durable Backdoors in Federated Learning [73.82725064553827]
  連合学習システムは バックドア攻撃の訓練中に 固有の脆弱性がある 我々は,既存のバックドア攻撃に対する単純な一直線修正であるニューロトキシンを提案する。
  論文  参考訳（メタデータ） (2022-06-12T16:52:52Z)
• Check Your Other Door! Establishing Backdoor Attacks in the Frequency Domain [80.24811082454367]
  検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。 また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
  論文  参考訳（メタデータ） (2021-09-12T12:44:52Z)
• Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution [57.51117978504175]
  最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。 バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。 単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:17Z)
• Backdoor Learning: A Survey [75.59571756777342]
  バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む バックドア学習は、急速に成長する研究分野である。 本稿では,この領域を包括的に調査する。
  論文  参考訳（メタデータ） (2020-07-17T04:09:20Z)
• Defending against Backdoors in Federated Learning with Robust Learning Rate [25.74681620689152]
  フェデレートラーニング(FL)は、エージェントの集合が、潜在的に敏感なデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。 バックドア攻撃において、敵はトレーニング中にモデルにバックドア機能を埋め込もうとする。 FLプロトコルの変更を最小限に抑える軽量ディフェンスを提案する。
  論文  参考訳（メタデータ） (2020-07-07T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。