論文の概要: Towards a Defense against Backdoor Attacks in Continual Federated
Learning
- arxiv url: http://arxiv.org/abs/2205.11736v1
- Date: Tue, 24 May 2022 03:04:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 13:15:30.494112
- Title: Towards a Defense against Backdoor Attacks in Continual Federated
Learning
- Title(参考訳): 連帯学習におけるバックドア攻撃に対する防御に向けて
- Authors: Shuaiqi Wang, Jonathan Hayase, Giulia Fanti, Sewoong Oh
- Abstract要約: 連合型連続学習環境におけるバックドア攻撃を防御する新しい枠組みを提案する。
私たちのフレームワークでは,バックボーンモデルとシャドーモデルという,2つのモデルを並列にトレーニングしています。
我々は,既存のバックドア攻撃に対する防御において,我々の枠組みが著しく改善されることを実験的に示す。
- 参考スコア(独自算出の注目度): 26.536009090970257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backdoor attacks are a major concern in federated learning (FL) pipelines
where training data is sourced from untrusted clients over long periods of time
(i.e., continual learning). Preventing such attacks is difficult because
defenders in FL do not have access to raw training data. Moreover, in a
phenomenon we call backdoor leakage, models trained continuously eventually
suffer from backdoors due to cumulative errors in backdoor defense mechanisms.
We propose a novel framework for defending against backdoor attacks in the
federated continual learning setting. Our framework trains two models in
parallel: a backbone model and a shadow model. The backbone is trained without
any defense mechanism to obtain good performance on the main task. The shadow
model combines recent ideas from robust covariance estimation-based filters
with early-stopping to control the attack success rate even as the data
distribution changes. We provide theoretical motivation for this design and
show experimentally that our framework significantly improves upon existing
defenses against backdoor attacks.
- Abstract(参考訳): バックドアアタックは、長期にわたる信頼できないクライアント(すなわち継続的学習)からトレーニングデータが引き出される、連邦学習(FL)パイプラインにおいて大きな関心事である。
FLのディフェンダーは生のトレーニングデータにアクセスできないため、このような攻撃を防ぐのは難しい。
さらに、バックドアリークと呼ばれる現象では、継続的に訓練されたモデルは、バックドア防御機構の累積誤差により、最終的にバックドアに悩まされる。
連合型連続学習環境におけるバックドア攻撃を防御する新しい枠組みを提案する。
私たちのフレームワークは、バックボーンモデルとシャドーモデルという2つのモデルを並行してトレーニングします。
バックボーンは防御機構なしでトレーニングされ、メインタスクで優れたパフォーマンスを得る。
シャドウモデルは、データ分散が変化しても攻撃成功率を制御するために、ロバストな共分散推定に基づくフィルタの最近のアイデアと早期ストラップを組み合わせる。
この設計に理論的動機を与え、我々のフレームワークがバックドア攻撃に対する既存の防御を大幅に改善できることを実験的に示します。
関連論文リスト
- BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳(メタデータ) (2023-11-20T02:21:49Z) - Rethinking Backdoor Attacks [122.1008188058615]
バックドア攻撃では、悪意ある構築されたバックドアの例をトレーニングセットに挿入し、結果のモデルを操作に脆弱にする。
このような攻撃に対する防御は、典型的には、これらの挿入された例をトレーニングセットの外れ値として見ることと、堅牢な統計からのテクニックを使用してそれらを検出し、削除することである。
トレーニングデータ分布に関する構造情報がなければ,バックドア攻撃は自然に発生するデータの特徴と区別できないことを示す。
論文 参考訳(メタデータ) (2023-07-19T17:44:54Z) - Backdoor Defense via Adaptively Splitting Poisoned Dataset [57.70673801469096]
バックドアの防御は、ディープニューラルネットワーク(DNN)がバックドアを攻撃され、悪意ある変更を受けていることの脅威を軽減するために研究されている。
トレーニング時間防衛の核心は, 有毒な試料を選別し, 適切な処理を行うことである。
本フレームワークでは,適応的分割型データセットベースディフェンス(ASD)を提案する。
論文 参考訳(メタデータ) (2023-03-23T02:16:38Z) - Learning to Backdoor Federated Learning [9.046972927978997]
FL(Federated Learning)システムでは、悪意のある参加者がバックドアを集約されたモデルに簡単に埋め込むことができる。
一般的な強化学習に基づくバックドアアタックフレームワークを提案する。
我々のフレームワークは適応性と柔軟性があり、最先端の防御の下でも強力な攻撃性能と耐久性を実現する。
論文 参考訳(メタデータ) (2023-03-06T17:47:04Z) - On the Vulnerability of Backdoor Defenses for Federated Learning [8.345632941376673]
Federated Learning(FL)は、クライアントのデータを共有することなく、グローバルモデルの共同トレーニングを可能にする、人気のある分散機械学習パラダイムである。
本稿では,現在の防衛機構が,フェデレートラーニングによるバックドアの脅威を真に中和するかどうかを考察する。
本稿では,新たなバックドア攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-01-19T17:02:02Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T02:24:46Z) - Backdoors Stuck At The Frontdoor: Multi-Agent Backdoor Attacks That
Backfire [8.782809316491948]
複数の攻撃者が同時に被害者モデルをバックドアしようとするマルチエージェントバックドア攻撃シナリオについて検討する。
エージェントが集団攻撃の成功率の低いゲームで一貫したバックファイリング現象が観察される。
その結果,実践環境におけるバックドア・ディフェンス研究の再評価の動機となった。
論文 参考訳(メタデータ) (2022-01-28T16:11:40Z) - Check Your Other Door! Establishing Backdoor Attacks in the Frequency
Domain [80.24811082454367]
検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。
また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
論文 参考訳(メタデータ) (2021-09-12T12:44:52Z) - Backdoor Learning: A Survey [75.59571756777342]
バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む
バックドア学習は、急速に成長する研究分野である。
本稿では,この領域を包括的に調査する。
論文 参考訳(メタデータ) (2020-07-17T04:09:20Z) - Defending against Backdoors in Federated Learning with Robust Learning
Rate [25.74681620689152]
フェデレートラーニング(FL)は、エージェントの集合が、潜在的に敏感なデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。
バックドア攻撃において、敵はトレーニング中にモデルにバックドア機能を埋め込もうとする。
FLプロトコルの変更を最小限に抑える軽量ディフェンスを提案する。
論文 参考訳(メタデータ) (2020-07-07T23:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。