論文の概要: Kick Bad Guys Out! Conditionally Activated Anomaly Detection in Federated Learning with Zero-Knowledge Proof Verification
- arxiv url: http://arxiv.org/abs/2310.04055v5
- Date: Sat, 17 May 2025 00:30:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.103484
- Title: Kick Bad Guys Out! Conditionally Activated Anomaly Detection in Federated Learning with Zero-Knowledge Proof Verification
- Title(参考訳): ゼロ知識証明を用いたフェデレーション学習における条件付アクティベート異常検出
- Authors: Shanshan Han, Wenxuan Wu, Baturalp Buyukates, Weizhao Jin, Qifan Zhang, Yuhang Yao, Salman Avestimehr, Chaoyang He,
- Abstract要約: フェデレートラーニング(FL)システムは、モデル中毒やバックドア攻撃などの敵攻撃に対して脆弱である。
本研究では,実用FLシナリオに特化して設計された新しい異常検出手法を提案する。
本手法では,2段階の条件付き検出機構を用いる。
- 参考スコア(独自算出の注目度): 22.078088272837068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) systems are vulnerable to adversarial attacks, such as model poisoning and backdoor attacks. However, existing defense mechanisms often fall short in real-world settings due to key limitations: they may rely on impractical assumptions, introduce distortions by modifying aggregation functions, or degrade model performance even in benign scenarios. To address these issues, we propose a novel anomaly detection method designed specifically for practical FL scenarios. Our approach employs a two-stage, conditionally activated detection mechanism: cross-round check first detects whether suspicious activity has occurred, and, if warranted, a cross-client check filters out malicious participants. This mechanism preserves utility while avoiding unrealistic assumptions. Moreover, to ensure the transparency and integrity of the defense mechanism, we incorporate zero-knowledge proofs, enabling clients to verify the detection without relying solely on the server's goodwill. To the best of our knowledge, this is the first method to bridge the gap between theoretical advances in FL security and the demands of real-world deployment. Extensive experiments across diverse tasks and real-world edge devices demonstrate the effectiveness of our method over state-of-the-art defenses.
- Abstract(参考訳): フェデレートラーニング(FL)システムは、モデル中毒やバックドア攻撃などの敵攻撃に対して脆弱である。
しかし、既存の防御機構は、重要な制約のために現実世界では不足することが多く、非現実的な仮定に依存したり、アグリゲーション関数を変更して歪みを導入したり、良質なシナリオでもモデル性能を低下させたりすることができる。
これらの問題に対処するために,実用FLシナリオに特化して設計された新しい異常検出手法を提案する。
クロスラウンドチェックは、まず不審な活動があったかどうかを検知し、もし保証された場合、クロスクライアントチェックは悪意のある参加者をフィルタリングする。
このメカニズムは非現実的な仮定を避けながら実用性を維持する。
さらに,防御機構の透明性と整合性を確保するため,クライアントがサーバの善意に頼らずに検出を検証できるように,ゼロ知識証明を取り入れた。
我々の知る限りでは、FLセキュリティの理論的進歩と実際の展開の要求とのギャップを埋める最初の方法である。
多様なタスクや実世界のエッジデバイスにわたる大規模な実験は、最先端の防御に対する我々の方法の有効性を実証している。
関連論文リスト
- Fundamental Limitations in Defending LLM Finetuning APIs [61.29028411001255]
細調整APIの防御は、細調整攻撃を防ぐ能力に基本的に制限されていることを示す。
我々は、危険知識を隠蔽的に伝達するために、良性モデル出力のエントロピーを再利用する'ポイントワイド検出不能'アタックを構築した。
OpenAIの微調整APIに対する攻撃をテストし、有害な複数の質問に対する回答を導き出すことに成功しました。
論文 参考訳(メタデータ) (2025-02-20T18:45:01Z) - Celtibero: Robust Layered Aggregation for Federated Learning [0.0]
Celtiberoは, 対向操作に対する強靭性を高めるため, 層状アグリゲーションを統合した新しい防御機構である。
セルティベロは、標的外および標的標的の毒殺攻撃において、最小攻撃成功率(ASR)を維持しつつ、常に高い主タスク精度(MTA)を達成することを実証した。
論文 参考訳(メタデータ) (2024-08-26T12:54:00Z) - Mitigating Malicious Attacks in Federated Learning via Confidence-aware Defense [3.685395311534351]
Federated Learning(FL)は、分散機械学習ダイアグラムで、複数のクライアントがプライベートなローカルデータを共有せずに、グローバルモデルを協調的にトレーニングすることができる。
FLシステムは、データ中毒やモデル中毒を通じて悪意のあるクライアントで起こっている攻撃に対して脆弱である。
既存の防御方法は通常、特定の種類の中毒を緩和することに焦点を当てており、しばしば目に見えないタイプの攻撃に対して効果がない。
論文 参考訳(メタデータ) (2024-08-05T20:27:45Z) - Poisoning with A Pill: Circumventing Detection in Federated Learning [33.915489514978084]
本稿では,FLにおける検出に対する既存のFL中毒攻撃の有効性とステルス性を高めるために,汎用的かつ攻撃に依存しない拡張手法を提案する。
具体的には、FLトレーニング中に、戦略的にピルを構築、生成、注入する3段階の方法論を用いており、それに従ってピル構築、ピル中毒およびピル注入と命名されている。
論文 参考訳(メタデータ) (2024-07-22T05:34:47Z) - Enabling Privacy-Preserving Cyber Threat Detection with Federated Learning [4.475514208635884]
本研究は, プライバシー保護型サイバー脅威検出のための学習の可能性について, 有効性, ビザンチンレジリエンス, 効率の観点から, 体系的に検証した。
FLトレーニングされた検出モデルは、中央訓練された検出モデルに匹敵する性能が得られることを示す。
現実的な脅威モデルの下では、FLはデータ中毒とモデル中毒の両方の攻撃に対して抵抗性があることが判明した。
論文 参考訳(メタデータ) (2024-04-08T01:16:56Z) - Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳(メタデータ) (2024-03-24T18:33:15Z) - FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning
Attacks in Federated Learning [98.43475653490219]
フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。
FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。
FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
論文 参考訳(メタデータ) (2023-12-07T16:56:24Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳(メタデータ) (2022-10-23T22:24:03Z) - Certifiers Make Neural Networks Vulnerable to Availability Attacks [70.69104148250614]
私たちは初めて、逆転戦略が敵によって意図的に引き起こされる可能性があることを示します。
いくつかの入力や摂動のために自然に発生する障害に加えて、敵は故意にフォールバックを誘発するために訓練時間攻撃を使用することができる。
我々は2つの新しいアベイラビリティーアタックを設計し、これらの脅威の実用的妥当性を示す。
論文 参考訳(メタデータ) (2021-08-25T15:49:10Z) - Adversarial Attacks against Face Recognition: A Comprehensive Study [3.766020696203255]
顔認識(FR)システムは優れた検証性能を示した。
近年の研究では、(深い)FRシステムは、知覚できない、または知覚できないが自然に見える対向的な入力画像に興味深い脆弱性を示すことが示されている。
論文 参考訳(メタデータ) (2020-07-22T22:46:00Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳(メタデータ) (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。