論文の概要: Identifying Backdoor Attacks in Federated Learning via Anomaly Detection
- arxiv url: http://arxiv.org/abs/2202.04311v2
- Date: Wed, 23 Aug 2023 16:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 19:28:20.792927
- Title: Identifying Backdoor Attacks in Federated Learning via Anomaly Detection
- Title(参考訳): 異常検出によるフェデレーション学習におけるバックドア攻撃の同定
- Authors: Yuxi Mi, Yiheng Sun, Jihong Guan, Shuigeng Zhou
- Abstract要約: フェデレーション学習はバックドア攻撃に弱い。
本稿では,共有モデル更新を検証し,攻撃に対する効果的な防御方法を提案する。
提案手法が最先端のバックドア攻撃を効果的に軽減することを示す。
- 参考スコア(独自算出の注目度): 31.197488921578984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning has seen increased adoption in recent years in response to
the growing regulatory demand for data privacy. However, the opaque local
training process of federated learning also sparks rising concerns about model
faithfulness. For instance, studies have revealed that federated learning is
vulnerable to backdoor attacks, whereby a compromised participant can
stealthily modify the model's behavior in the presence of backdoor triggers.
This paper proposes an effective defense against the attack by examining shared
model updates. We begin with the observation that the embedding of backdoors
influences the participants' local model weights in terms of the magnitude and
orientation of their model gradients, which can manifest as distinguishable
disparities. We enable a robust identification of backdoors by studying the
statistical distribution of the models' subsets of gradients. Concretely, we
first segment the model gradients into fragment vectors that represent small
portions of model parameters. We then employ anomaly detection to locate the
distributionally skewed fragments and prune the participants with the most
outliers. We embody the findings in a novel defense method, ARIBA. We
demonstrate through extensive analyses that our proposed methods effectively
mitigate state-of-the-art backdoor attacks with minimal impact on task utility.
- Abstract(参考訳): フェデレートラーニング(Federated Learning)は、データプライバシの規制要求の増加に対応して、近年採用が増加している。
しかし、フェデレートラーニングの不透明なローカルトレーニングプロセスは、モデル忠実性に対する関心の高まりも引き起こす。
例えば、研究により、連合学習はバックドア攻撃に弱いことが判明し、妥協した参加者はバックドアトリガーの存在下でモデルの動きを密かに修正することができる。
本稿では,共有モデル更新を検証し,攻撃に対する効果的な防御手法を提案する。
まず、バックドアの埋め込みが、モデルの勾配の大きさと向きの観点で、参加者の局所的なモデル重み付けに影響を与えるという観察から始める。
モデルの勾配部分集合の統計的分布を研究することにより、バックドアの堅牢な識別を可能にする。
具体的には、まずモデル勾配をモデルパラメータの小さな部分を表すフラグメントベクトルに分割する。
次に,分布的に歪んだ断片を同定し,最も高い確率で参加者を追放するために異常検出を行う。
今回,新しい防御法であるARIBAを用いて実験を行った。
提案手法は,タスクユーティリティに最小限の影響を伴って,最先端のバックドア攻撃を効果的に軽減する。
関連論文リスト
- Model Pairing Using Embedding Translation for Backdoor Attack Detection
on Open-Set Classification Tasks [51.78558228584093]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
両モデルがバックドアされている場合でも,バックドアが検出可能であることを示す。
論文 参考訳(メタデータ) (2024-02-28T21:29:16Z) - A Survey on Vulnerability of Federated Learning: A Learning Algorithm
Perspective [8.941193384980147]
FLシステムの学習プロセスを対象とした脅威モデルに焦点を当てる。
防衛戦略は、特定のメトリクスを使用して悪意のあるクライアントを除外することから進化してきた。
最近の取り組みは、ローカルモデルの最小限の重みを、防御措置をバイパスするために微妙に変更している。
論文 参考訳(メタデータ) (2023-11-27T18:32:08Z) - Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared
Adversarial Examples [67.66153875643964]
バックドア攻撃は、機械学習モデルに対する深刻なセキュリティ脅威である。
本稿では,小さなクリーンデータセットを用いて,バックドアモデルの浄化作業について検討する。
バックドアリスクと敵的リスクの関連性を確立することにより、バックドアリスクに対する新たな上限を導出する。
論文 参考訳(メタデータ) (2023-07-20T03:56:04Z) - STDLens: Model Hijacking-Resilient Federated Learning for Object
Detection [13.895922908738507]
Federated Learning (FL)は、ディープラーニングに基づくオブジェクト検出モデルをクライアントの分散集団でトレーニングするための協調学習フレームワークとして人気を集めている。
その利点にもかかわらず、FLはモデルハイジャックに弱い。
本稿では,このような攻撃に対してFLを保護するための原則的アプローチであるSTDLensを紹介する。
論文 参考訳(メタデータ) (2023-03-21T00:15:53Z) - Mitigating Backdoors in Federated Learning with FLD [7.908496863030483]
フェデレーション学習は、クライアントがプライバシー保護のために生データをアップロードすることなく、グローバルモデルを協調的にトレーニングすることを可能にする。
この機能は最近、バックドア攻撃に直面したフェデレーション学習の脆弱性の原因となっていることが判明した。
バックドア攻撃に対して効果的に防御する新しいモデルフィルタリング手法であるフェデレート層検出(FLD)を提案する。
論文 参考訳(メタデータ) (2023-03-01T07:54:54Z) - On the Vulnerability of Backdoor Defenses for Federated Learning [8.345632941376673]
Federated Learning(FL)は、クライアントのデータを共有することなく、グローバルモデルの共同トレーニングを可能にする、人気のある分散機械学習パラダイムである。
本稿では,現在の防衛機構が,フェデレートラーニングによるバックドアの脅威を真に中和するかどうかを考察する。
本稿では,新たなバックドア攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-01-19T17:02:02Z) - Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
本稿では,モデル構造の角度からバックドア機構を探索する。
攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
論文 参考訳(メタデータ) (2022-11-02T15:39:19Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - BaFFLe: Backdoor detection via Feedback-based Federated Learning [3.6895394817068357]
フィードバックに基づくフェデレーション学習(BAFFLE)によるバックドア検出を提案する。
BAFFLEは,最先端のバックドア攻撃を100%,偽陽性率5%以下で確実に検出できることを示す。
論文 参考訳(メタデータ) (2020-11-04T07:44:51Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳(メタデータ) (2020-09-01T12:54:54Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳(メタデータ) (2020-06-10T04:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。