論文の概要: BackdoorIndicator: Leveraging OOD Data for Proactive Backdoor Detection in Federated Learning
- arxiv url: http://arxiv.org/abs/2405.20862v1
- Date: Fri, 31 May 2024 14:44:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 14:08:24.890958
- Title: BackdoorIndicator: Leveraging OOD Data for Proactive Backdoor Detection in Federated Learning
- Title（参考訳）: BackdoorIndicator: フェデレート学習におけるアクティブなバックドア検出のためのOODデータを活用する
- Authors: Songze Li, Yanbo Dai,
- Abstract要約: FL(Federated Learning)システムでは、分散データオーナ(クライアント)が、ローカルにトレーニングされたモデルを中央サーバにアップロードして、グローバルモデルを共同でトレーニングすることが可能になる。
悪意のあるクライアントは、有害なローカルモデルをアップロードすることでバックドアをグローバルモデルに配置し、攻撃者が定義したトリガーに遭遇したときにターゲットクラスに誤分類を引き起こす可能性がある。
既存のバックドアディフェンスは、特に悪意のある更新が統計的に良質なものに近づいた場合に、異なるシステムと敵対的な設定下での一貫性のないパフォーマンスを示す。
我々は,サーバがグローバルモデルにインジケータタスクをインジェクタとしてインジェクタをインジェクタインジェクタにインジェクタインジェクタをインジェクタインジェクタにインジェクタインジェクタインジェクタにインジェクタインジェクタインジェクタインジェクタインジェクタをインジェクタインジェクタインジェクタにインジェクタインジェクタインジェクタインジェクタインジェクタインジェクタインジェクタイン
- 参考スコア（独自算出の注目度）: 7.528642177161784
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In a federated learning (FL) system, decentralized data owners (clients) could upload their locally trained models to a central server, to jointly train a global model. Malicious clients may plant backdoors into the global model through uploading poisoned local models, causing misclassification to a target class when encountering attacker-defined triggers. Existing backdoor defenses show inconsistent performance under different system and adversarial settings, especially when the malicious updates are made statistically close to the benign ones. In this paper, we first reveal the fact that planting subsequent backdoors with the same target label could significantly help to maintain the accuracy of previously planted backdoors, and then propose a novel proactive backdoor detection mechanism for FL named BackdoorIndicator, which has the server inject indicator tasks into the global model leveraging out-of-distribution (OOD) data, and then utilizing the fact that any backdoor samples are OOD samples with respect to benign samples, the server, who is completely agnostic of the potential backdoor types and target labels, can accurately detect the presence of backdoors in uploaded models, via evaluating the indicator tasks. We perform systematic and extensive empirical studies to demonstrate the consistently superior performance and practicality of BackdoorIndicator over baseline defenses, across a wide range of system and adversarial settings.
- Abstract（参考訳）: FL(Federated Learning)システムでは、分散データオーナ(クライアント)が、ローカルにトレーニングされたモデルを中央サーバにアップロードして、グローバルモデルを共同でトレーニングすることが可能になる。
悪意のあるクライアントは、有害なローカルモデルをアップロードすることでバックドアをグローバルモデルに配置し、攻撃者が定義したトリガーに遭遇したときにターゲットクラスに誤分類を引き起こす可能性がある。
既存のバックドアディフェンスは、特に悪意のある更新が統計的に良質なものに近づいた場合に、異なるシステムと敵対的な設定下での一貫性のないパフォーマンスを示す。
そこで,本論文では,先行するバックドアを同一のターゲットラベルで植えることによって,それまでのバックドアの精度の維持に有効であることを示すとともに,サーバがアウト・オブ・ディストリビューション(OOD)データを利用したグローバルモデルにインジケータタスクを注入する,新たなバックドア検出機構を提案するとともに,バックドアサンプルが良質なサンプルであるという事実を利用して,バックドアタイプやターゲットラベルを全く知らないサーバが,アップロードされたモデル内のバックドアの存在を正確に検出できることを示す。
本研究は,バックドアインディケータの性能と実用性を,多種多様なシステムおよび対向的設定において,ベースライン防御よりも一貫して優れた性能と実用性を示すために,系統的および広範囲にわたる実証的研究を行った。
関連論文リスト
- Rethinking Backdoor Detection Evaluation for Language Models [45.34806299803778]
バックドア攻撃は、公開された言語モデルに依存する実践者にとって大きなセキュリティリスクをもたらす。
バックドア検出方法は、リリースされたモデルにバックドアが含まれているかどうかを検出することを目的としている。
既存のバックドア検出手法は標準ベンチマークでバックドアモデルを検出するのに高い精度を持っているが、野生のバックドアを堅牢に識別できるかどうかは不明である。
論文 参考訳（メタデータ） (2024-08-31T09:19:39Z) - Concealing Backdoor Model Updates in Federated Learning by Trigger-Optimized Data Poisoning [20.69655306650485]
Federated Learning(FL)は、参加者がプライベートデータを共有せずに、協力的にモデルをトレーニングできる分散型機械学習手法である。
プライバシーとスケーラビリティの利点にもかかわらず、FLはバックドア攻撃の影響を受けやすい。
本稿では,バックドアトリガの最適化によりバックドア目標を動的に構築する,FLのバックドア攻撃戦略であるDPOTを提案する。
論文 参考訳（メタデータ） (2024-05-10T02:44:25Z) - Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。
このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。
この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文 参考訳（メタデータ） (2024-02-28T21:29:16Z) - Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。
CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
論文 参考訳（メタデータ） (2023-03-13T02:25:59Z) - FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases [50.065022493142116]
バックドア攻撃とも呼ばれるディープニューラルネットワークに対するトロイの木馬攻撃は、人工知能に対する典型的な脅威である。
FreeEagleは、複雑なバックドア攻撃を効果的に検出できる最初のデータフリーバックドア検出方法である。
論文 参考訳（メタデータ） (2023-02-28T11:31:29Z) - BayBFed: Bayesian Backdoor Defense for Federated Learning [17.433543798151746]
フェデレートラーニング(FL)は、参加者がプライベートデータを他の人と共有することなく、機械学習モデルを共同でトレーニングすることを可能にする。
BayBFed は FL の悪意のある更新を検出するために,クライアント更新による確率分布の利用を提案する。
論文 参考訳（メタデータ） (2023-01-23T16:01:30Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳（メタデータ） (2022-11-02T17:05:45Z) - An anomaly detection approach for backdoored neural networks: face
recognition as a case study [77.92020418343022]
本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。
バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
論文 参考訳（メタデータ） (2022-08-22T12:14:13Z) - Backdoor Defense in Federated Learning Using Differential Testing and
Outlier Detection [24.562359531692504]
バックドア攻撃からFLシステムを保護するための自動防御フレームワークであるDifFenseを提案する。
提案手法は,グローバルモデルの平均バックドア精度を4%以下に低減し,偽陰性率ゼロを達成する。
論文 参考訳（メタデータ） (2022-02-21T17:13:03Z) - CRFL: Certifiably Robust Federated Learning against Backdoor Attacks [59.61565692464579]
本稿では,第1の汎用フレームワークであるCertifiably Robust Federated Learning (CRFL) を用いて,バックドアに対する堅牢なFLモデルをトレーニングする。
提案手法は, モデルパラメータのクリッピングと平滑化を利用して大域的モデル平滑化を制御する。
論文 参考訳（メタデータ） (2021-06-15T16:50:54Z) - Black-box Detection of Backdoor Attacks with Limited Information and
Data [56.0735480850555]
モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。
バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
論文 参考訳（メタデータ） (2021-03-24T12:06:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。