論文の概要: Identifying Backdoor Attacks in Federated Learning via Anomaly Detection

• arxiv url: http://arxiv.org/abs/2202.04311v2
• Date: Wed, 23 Aug 2023 16:17:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 19:28:20.792927
• Title: Identifying Backdoor Attacks in Federated Learning via Anomaly Detection
• Title（参考訳）: 異常検出によるフェデレーション学習におけるバックドア攻撃の同定
• Authors: Yuxi Mi, Yiheng Sun, Jihong Guan, Shuigeng Zhou
• Abstract要約: フェデレーション学習はバックドア攻撃に弱い。 本稿では,共有モデル更新を検証し,攻撃に対する効果的な防御方法を提案する。 提案手法が最先端のバックドア攻撃を効果的に軽減することを示す。
• 参考スコア（独自算出の注目度）: 31.197488921578984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning has seen increased adoption in recent years in response to the growing regulatory demand for data privacy. However, the opaque local training process of federated learning also sparks rising concerns about model faithfulness. For instance, studies have revealed that federated learning is vulnerable to backdoor attacks, whereby a compromised participant can stealthily modify the model's behavior in the presence of backdoor triggers. This paper proposes an effective defense against the attack by examining shared model updates. We begin with the observation that the embedding of backdoors influences the participants' local model weights in terms of the magnitude and orientation of their model gradients, which can manifest as distinguishable disparities. We enable a robust identification of backdoors by studying the statistical distribution of the models' subsets of gradients. Concretely, we first segment the model gradients into fragment vectors that represent small portions of model parameters. We then employ anomaly detection to locate the distributionally skewed fragments and prune the participants with the most outliers. We embody the findings in a novel defense method, ARIBA. We demonstrate through extensive analyses that our proposed methods effectively mitigate state-of-the-art backdoor attacks with minimal impact on task utility.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、データプライバシの規制要求の増加に対応して、近年採用が増加している。 しかし、フェデレートラーニングの不透明なローカルトレーニングプロセスは、モデル忠実性に対する関心の高まりも引き起こす。 例えば、研究により、連合学習はバックドア攻撃に弱いことが判明し、妥協した参加者はバックドアトリガーの存在下でモデルの動きを密かに修正することができる。 本稿では,共有モデル更新を検証し,攻撃に対する効果的な防御手法を提案する。 まず、バックドアの埋め込みが、モデルの勾配の大きさと向きの観点で、参加者の局所的なモデル重み付けに影響を与えるという観察から始める。 モデルの勾配部分集合の統計的分布を研究することにより、バックドアの堅牢な識別を可能にする。 具体的には、まずモデル勾配をモデルパラメータの小さな部分を表すフラグメントベクトルに分割する。 次に,分布的に歪んだ断片を同定し,最も高い確率で参加者を追放するために異常検出を行う。 今回,新しい防御法であるARIBAを用いて実験を行った。 提案手法は,タスクユーティリティに最小限の影響を伴って,最先端のバックドア攻撃を効果的に軽減する。

関連論文リスト

• Backdoor Defense through Self-Supervised and Generative Learning [0.0]
  このようなデータのトレーニングは、選択されたテストサンプルに悪意のある推論を引き起こすバックドアを注入する。 本稿では,自己教師付き表現空間におけるクラスごとの分布生成モデルに基づくアプローチを提案する。 どちらの場合も、クラスごとの生成モデルにより、有毒なデータを検出し、データセットをクリーン化することができます。
  論文  参考訳（メタデータ） (2024-09-02T11:40:01Z)
• Mitigating Backdoor Attacks using Activation-Guided Model Editing [8.00994004466919]
  バックドア攻撃は、機械学習モデルの完全性と信頼性を損なう。 本研究では,そのようなバックドア攻撃に対抗するために,機械学習による新たなバックドア緩和手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T13:43:47Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
  バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。 このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。 この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
  論文  参考訳（メタデータ） (2024-02-28T21:29:16Z)
• Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples [67.66153875643964]
  バックドア攻撃は、機械学習モデルに対する深刻なセキュリティ脅威である。 本稿では,小さなクリーンデータセットを用いて,バックドアモデルの浄化作業について検討する。 バックドアリスクと敵的リスクの関連性を確立することにより、バックドアリスクに対する新たな上限を導出する。
  論文  参考訳（メタデータ） (2023-07-20T03:56:04Z)
• STDLens: Model Hijacking-Resilient Federated Learning for Object Detection [13.895922908738507]
  Federated Learning (FL)は、ディープラーニングに基づくオブジェクト検出モデルをクライアントの分散集団でトレーニングするための協調学習フレームワークとして人気を集めている。 その利点にもかかわらず、FLはモデルハイジャックに弱い。 本稿では,このような攻撃に対してFLを保護するための原則的アプローチであるSTDLensを紹介する。
  論文  参考訳（メタデータ） (2023-03-21T00:15:53Z)
• Mitigating Backdoors in Federated Learning with FLD [7.908496863030483]
  フェデレーション学習は、クライアントがプライバシー保護のために生データをアップロードすることなく、グローバルモデルを協調的にトレーニングすることを可能にする。 この機能は最近、バックドア攻撃に直面したフェデレーション学習の脆弱性の原因となっていることが判明した。 バックドア攻撃に対して効果的に防御する新しいモデルフィルタリング手法であるフェデレート層検出(FLD)を提案する。
  論文  参考訳（メタデータ） (2023-03-01T07:54:54Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。