論文の概要: Anomaly Localization in Model Gradients Under Backdoor Attacks Against
Federated Learning
- arxiv url: http://arxiv.org/abs/2111.14683v1
- Date: Mon, 29 Nov 2021 16:46:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 18:27:37.398009
- Title: Anomaly Localization in Model Gradients Under Backdoor Attacks Against
Federated Learning
- Title(参考訳): フェデレート学習に対するバックドアアタックによるモデル勾配の異常な局在
- Authors: Zeki Bilgin
- Abstract要約: 本研究では,複数のバックドア攻撃シナリオ下でのモデル勾配の予測変動について,深い勾配レベル解析を行う。
我々の主要な発見は、ローカルモデル更新(重みまたは勾配)におけるバックドア誘発異常が、悪意のあるローカルモデルの最終層バイアス重みに現れることである。
- 参考スコア(独自算出の注目度): 0.6091702876917281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inserting a backdoor into the joint model in federated learning (FL) is a
recent threat raising concerns. Existing studies mostly focus on developing
effective countermeasures against this threat, assuming that backdoored local
models, if any, somehow reveal themselves by anomalies in their gradients.
However, this assumption needs to be elaborated by identifying specifically
which gradients are more likely to indicate an anomaly to what extent under
which conditions. This is an important issue given that neural network models
usually have huge parametric space and consist of a large number of weights. In
this study, we make a deep gradient-level analysis on the expected variations
in model gradients under several backdoor attack scenarios against FL. Our main
novel finding is that backdoor-induced anomalies in local model updates
(weights or gradients) appear in the final layer bias weights of the malicious
local models. We support and validate our findings by both theoretical and
experimental analysis in various FL settings. We also investigate the impact of
the number of malicious clients, learning rate, and malicious data rate on the
observed anomaly. Our implementation is publicly available\footnote{\url{
https://github.com/ArcelikAcikKaynak/Federated_Learning.git}}.
- Abstract(参考訳): 連合学習(FL)のジョイントモデルにバックドアを挿入することは、懸念を引き起こす最近の脅威である。
既存の研究は主にこの脅威に対する効果的な対策の開発に焦点をあてており、もしあるならば、バックドアのローカルモデルがその勾配の異常によって明らかになるであろうと仮定している。
しかし、この仮定は、どの勾配がどの条件の下でアノマリーを示す可能性が高いかを明確に特定することで、詳細化する必要がある。
これは、ニューラルネットワークモデルが通常、巨大なパラメトリック空間を持ち、大量の重みを持つため、重要な問題である。
本研究では,複数のバックドア攻撃シナリオにおけるモデル勾配の予測変動について,深い勾配レベル解析を行う。
我々の主な新しい発見は、ローカルモデル更新におけるバックドアによる異常(重みまたは勾配)が、悪意のあるローカルモデルの最終層バイアス重みに現れることである。
FL設定の理論的および実験的解析により,本研究の成果を裏付け,検証する。
また,悪意のあるクライアント数,学習率,悪意のあるデータレートが観測異常に与える影響についても検討した。
実装はgithub.com/arcelikacikkaynak/federated_learning.git}}で公開されている。
関連論文リスト
- Data-Agnostic Model Poisoning against Federated Learning: A Graph
Autoencoder Approach [65.2993866461477]
本稿では,フェデレートラーニング(FL)に対するデータに依存しないモデル中毒攻撃を提案する。
この攻撃はFLトレーニングデータの知識を必要とせず、有効性と検出不能の両方を達成する。
実験により、FLの精度は提案した攻撃の下で徐々に低下し、既存の防御機構では検出できないことが示された。
論文 参考訳(メタデータ) (2023-11-30T12:19:10Z) - From Hope to Safety: Unlearning Biases of Deep Models via Gradient
Penalization in Latent Space [13.763716495058294]
ディープニューラルネットワークは、トレーニングデータに埋め込まれた急激な相関を学習する傾向があるため、潜在的なバイアスのある予測につながる。
これは、医療応用など、高い意思決定のためにこれらのモデルをデプロイする際のリスクを生じさせる。
本稿では,勾配のペナル化によるバイアスに対するモデル感度を明示的に低減する,概念レベルでのモデル補正手法を提案する。
論文 参考訳(メタデータ) (2023-08-18T10:07:46Z) - Backdoor for Debias: Mitigating Model Bias with Backdoor Attack-based
Artificial Bias [97.78479322548215]
バックドア攻撃は,標準訓練で得られたモデルバイアスに類似した人工バイアスを構築できることがわかった。
本稿では,知識蒸留に基づくバックドア脱バイアスフレームワークを提案し,モデルバイアスを元のデータから効果的に低減する。
この作業はバックドア攻撃の理解を深め、有益なアプリケーションの可能性を強調します。
論文 参考訳(メタデータ) (2023-03-01T12:31:07Z) - Are we certain it's anomalous? [57.729669157989235]
時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。
本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。
HypADは自己指導で入力信号を再構築する。
論文 参考訳(メタデータ) (2022-11-16T21:31:39Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Identifying Backdoor Attacks in Federated Learning via Anomaly Detection [31.197488921578984]
フェデレーション学習はバックドア攻撃に弱い。
本稿では,共有モデル更新を検証し,攻撃に対する効果的な防御方法を提案する。
提案手法が最先端のバックドア攻撃を効果的に軽減することを示す。
論文 参考訳(メタデータ) (2022-02-09T07:07:42Z) - Backdoor Attack and Defense for Deep Regression [23.20365307988698]
回帰に使用するディープニューラルネットワークに対するバックドア攻撃を実演する。
バックドア攻撃はトレーニングセットのデータ中毒に基づいてローカライズされる。
また,局所誤差最大化器の勾配に基づく発見によるバックドアディフェンスの性能評価を行った。
論文 参考訳(メタデータ) (2021-09-06T11:58:03Z) - Explaining Neural Matrix Factorization with Gradient Rollback [22.33402175974514]
グラデーション・ロールバックは インフルエンス・アセスメントの一般的なアプローチです
トレーニング時間とテスト時間の両方において,勾配ロールバックが非常に効率的であることを示す。
グラデーションロールバックは、知識ベース補完と推奨データセットの忠実な説明を提供する。
論文 参考訳(メタデータ) (2020-10-12T08:15:54Z) - Can Adversarial Weight Perturbations Inject Neural Backdoors? [22.83199547214051]
敵対的機械学習は、ニューラルネットワークのいくつかのセキュリティリスクを露呈している。
モデル重みの逆方向摂動を,元のモデルの予測に対する複合的損失を用いて導入する。
実験の結果,バックドアはモデル重量値の平均相対変化が極めて小さい状態で注入可能であることがわかった。
論文 参考訳(メタデータ) (2020-08-04T18:26:13Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-05T04:19:37Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳(メタデータ) (2020-06-10T04:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。