論文の概要: Anomaly Localization in Model Gradients Under Backdoor Attacks Against Federated Learning

• arxiv url: http://arxiv.org/abs/2111.14683v1
• Date: Mon, 29 Nov 2021 16:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 18:27:37.398009
• Title: Anomaly Localization in Model Gradients Under Backdoor Attacks Against Federated Learning
• Title（参考訳）: フェデレート学習に対するバックドアアタックによるモデル勾配の異常な局在
• Authors: Zeki Bilgin
• Abstract要約: 本研究では,複数のバックドア攻撃シナリオ下でのモデル勾配の予測変動について,深い勾配レベル解析を行う。 我々の主要な発見は、ローカルモデル更新(重みまたは勾配)におけるバックドア誘発異常が、悪意のあるローカルモデルの最終層バイアス重みに現れることである。
• 参考スコア（独自算出の注目度）: 0.6091702876917281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inserting a backdoor into the joint model in federated learning (FL) is a recent threat raising concerns. Existing studies mostly focus on developing effective countermeasures against this threat, assuming that backdoored local models, if any, somehow reveal themselves by anomalies in their gradients. However, this assumption needs to be elaborated by identifying specifically which gradients are more likely to indicate an anomaly to what extent under which conditions. This is an important issue given that neural network models usually have huge parametric space and consist of a large number of weights. In this study, we make a deep gradient-level analysis on the expected variations in model gradients under several backdoor attack scenarios against FL. Our main novel finding is that backdoor-induced anomalies in local model updates (weights or gradients) appear in the final layer bias weights of the malicious local models. We support and validate our findings by both theoretical and experimental analysis in various FL settings. We also investigate the impact of the number of malicious clients, learning rate, and malicious data rate on the observed anomaly. Our implementation is publicly available\footnote{\url{ https://github.com/ArcelikAcikKaynak/Federated_Learning.git}}.
• Abstract（参考訳）: 連合学習(FL)のジョイントモデルにバックドアを挿入することは、懸念を引き起こす最近の脅威である。 既存の研究は主にこの脅威に対する効果的な対策の開発に焦点をあてており、もしあるならば、バックドアのローカルモデルがその勾配の異常によって明らかになるであろうと仮定している。 しかし、この仮定は、どの勾配がどの条件の下でアノマリーを示す可能性が高いかを明確に特定することで、詳細化する必要がある。 これは、ニューラルネットワークモデルが通常、巨大なパラメトリック空間を持ち、大量の重みを持つため、重要な問題である。 本研究では,複数のバックドア攻撃シナリオにおけるモデル勾配の予測変動について,深い勾配レベル解析を行う。 我々の主な新しい発見は、ローカルモデル更新におけるバックドアによる異常(重みまたは勾配)が、悪意のあるローカルモデルの最終層バイアス重みに現れることである。 FL設定の理論的および実験的解析により,本研究の成果を裏付け,検証する。 また,悪意のあるクライアント数,学習率,悪意のあるデータレートが観測異常に与える影響についても検討した。 実装はgithub.com/arcelikacikkaynak/federated_learning.git}}で公開されている。

関連論文リスト

• Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies [14.399035468023161]
  教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、合成データと実データを用いて、様々なアプリケーションに対してモデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Data-Agnostic Model Poisoning against Federated Learning: A Graph Autoencoder Approach [65.2993866461477]
  本稿では,フェデレートラーニング(FL)に対するデータに依存しないモデル中毒攻撃を提案する。 この攻撃はFLトレーニングデータの知識を必要とせず、有効性と検出不能の両方を達成する。 実験により、FLの精度は提案した攻撃の下で徐々に低下し、既存の防御機構では検出できないことが示された。
  論文  参考訳（メタデータ） (2023-11-30T12:19:10Z)
• Understanding Deep Gradient Leakage via Inversion Influence Functions [53.1839233598743]
  Deep Gradient Leakage (DGL)は、勾配ベクトルからプライベートトレーニングイメージを復元する非常に効果的な攻撃である。 得られた画像とプライベート勾配との間の閉形式接続を確立する新しいインバージョンインフルエンス関数(I$2$F)を提案する。 I$2$Fは、一般的に異なるモデルアーキテクチャ、データセット、アタック実装、摂動に基づく防御に基づいてDGLを効果的に近似したことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-09-22T17:26:24Z)
• From Hope to Safety: Unlearning Biases of Deep Models via Gradient Penalization in Latent Space [13.763716495058294]
  ディープニューラルネットワークは、トレーニングデータに埋め込まれた急激な相関を学習する傾向があるため、潜在的なバイアスのある予測につながる。 これは、医療応用など、高い意思決定のためにこれらのモデルをデプロイする際のリスクを生じさせる。 本稿では,勾配のペナル化によるバイアスに対するモデル感度を明示的に低減する,概念レベルでのモデル補正手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T10:07:46Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Identifying Backdoor Attacks in Federated Learning via Anomaly Detection [31.197488921578984]
  フェデレーション学習はバックドア攻撃に弱い。 本稿では,共有モデル更新を検証し,攻撃に対する効果的な防御方法を提案する。 提案手法が最先端のバックドア攻撃を効果的に軽減することを示す。
  論文  参考訳（メタデータ） (2022-02-09T07:07:42Z)
• Backdoor Attack and Defense for Deep Regression [23.20365307988698]
  回帰に使用するディープニューラルネットワークに対するバックドア攻撃を実演する。 バックドア攻撃はトレーニングセットのデータ中毒に基づいてローカライズされる。 また,局所誤差最大化器の勾配に基づく発見によるバックドアディフェンスの性能評価を行った。
  論文  参考訳（メタデータ） (2021-09-06T11:58:03Z)
• Can Adversarial Weight Perturbations Inject Neural Backdoors? [22.83199547214051]
  敵対的機械学習は、ニューラルネットワークのいくつかのセキュリティリスクを露呈している。 モデル重みの逆方向摂動を,元のモデルの予測に対する複合的損失を用いて導入する。 実験の結果,バックドアはモデル重量値の平均相対変化が極めて小さい状態で注入可能であることがわかった。
  論文  参考訳（メタデータ） (2020-08-04T18:26:13Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Scalable Backdoor Detection in Neural Networks [61.39635364047679]
  ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。 本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。 実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
  論文  参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。