論文の概要: Kick Bad Guys Out! Conditionally Activated Anomaly Detection in Federated Learning with Zero-Knowledge Proof Verification
- arxiv url: http://arxiv.org/abs/2310.04055v6
- Date: Sun, 19 Oct 2025 06:35:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:38.008551
- Title: Kick Bad Guys Out! Conditionally Activated Anomaly Detection in Federated Learning with Zero-Knowledge Proof Verification
- Title(参考訳): ゼロ知識証明を用いたフェデレーション学習における条件付アクティベート異常検出
- Authors: Shanshan Han, Wenxuan Wu, Baturalp Buyukates, Weizhao Jin, Qifan Zhang, Yuhang Yao, Salman Avestimehr, Chaoyang He,
- Abstract要約: フェデレーテッド・ラーニング(FL)システムは敵の攻撃を受けやすい。
RedJasperは、現実世界のFLデプロイメント用に特別に設計された2段階の異常検出手法である。
第1段階で不審な活動を特定し、第2段階を条件付きで活性化し、不審な局所モデルをさらに精査する。
- 参考スコア(独自算出の注目度): 31.38942054994932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) systems are susceptible to adversarial attacks, such as model poisoning attacks and backdoor attacks. Existing defense mechanisms face critical limitations in real-world deployments, such as relying on impractical assumptions (e.g., adversaries acknowledging the presence of attacks before attacking) or undermining accuracy in model training, even in benign scenarios. To address these challenges, we propose RedJasper, a two-staged anomaly detection method specifically designed for real-world FL deployments. It identifies suspicious activities in the first stage, then activates the second stage conditionally to further scrutinize the suspicious local models, employing the 3{\sigma} rule to identify real malicious local models and filtering them out from FL training. To ensure integrity and transparency within the FL system, RedJasper integrates zero-knowledge proofs, enabling clients to cryptographically verify the server's detection process without relying on the server's goodwill. RedJasper operates without unrealistic assumptions and avoids interfering with FL training in attack-free scenarios. It bridges the gap between theoretical advances in FL security and the practical demands of real-world deployment. Experimental results demonstrate that RedJasper consistently delivers performance comparable to benign cases, highlighting its effectiveness in identifying potential attacks and eliminating malicious models with high accuracy.
- Abstract(参考訳): フェデレート・ラーニング(FL)システムは、モデル中毒攻撃やバックドア攻撃などの敵攻撃の影響を受けやすい。
既存の防御メカニズムは、非現実的な仮定(例えば、攻撃前に攻撃の存在を認める敵)や、良心的なシナリオであっても、モデルトレーニングの精度を損なうような、現実世界の展開において重要な制限に直面します。
これらの課題に対処するために,現実世界のFLデプロイメント用に設計された2段階の異常検出手法であるRedJasperを提案する。
第1段階で不審な活動を特定し、第2段階を条件付きでアクティベートし、不審なローカルモデルをさらに精査し、3{\sigma} ルールを用いて実際の悪意のあるローカルモデルを特定し、FLトレーニングからそれらをフィルタリングする。
FLシステム内の整合性と透明性を確保するため、RedJasperはゼロ知識証明を統合し、クライアントがサーバの善意に頼らずに、サーバの検出プロセスを暗号化的に検証できるようにする。
RedJasperは非現実的な仮定なしで動作し、攻撃のないシナリオでのFLトレーニングの干渉を避ける。
FLセキュリティの理論的進歩と現実の展開の実践的要求のギャップを埋める。
実験の結果、RedJasperは良識のあるケースに匹敵するパフォーマンスを継続的に提供し、潜在的な攻撃を識別し、悪意のあるモデルを高い精度で排除する効果を強調している。
関連論文リスト
- Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
この研究は、不確実性の下での攻撃段階推論の問題に対処する。
Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。
シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
論文 参考訳(メタデータ) (2025-08-01T06:58:00Z) - Hear No Evil: Detecting Gradient Leakage by Malicious Servers in Federated Learning [35.64232606410778]
フェデレーション学習の勾配更新は、クライアントのローカルデータに関する機密情報を意図せずに明らかにすることができる。
本稿では,悪質な勾配漏洩攻撃の包括的解析と,それらを可能にするモデル操作技術について述べる。
本稿では,ローカルトレーニング開始前に不審なモデル更新を通知する,シンプルで軽量で広く適用可能なクライアント側検出機構を提案する。
論文 参考訳(メタデータ) (2025-06-25T17:49:26Z) - CANTXSec: A Deterministic Intrusion Detection and Prevention System for CAN Bus Monitoring ECU Activations [53.036288487863786]
物理ECUアクティベーションに基づく最初の決定論的侵入検知・防止システムであるCANTXSecを提案する。
CANバスの古典的な攻撃を検知・防止し、文献では調査されていない高度な攻撃を検知する。
物理テストベッド上での解法の有効性を実証し,攻撃の両クラスにおいて100%検出精度を達成し,100%のFIAを防止した。
論文 参考訳(メタデータ) (2025-05-14T13:37:07Z) - Exposing the Ghost in the Transformer: Abnormal Detection for Large Language Models via Hidden State Forensics [5.384257830522198]
重要なアプリケーションにおける大規模言語モデル(LLM)は、重大な信頼性とセキュリティリスクを導入している。
これらの脆弱性は悪意あるアクターによって武器化され、不正アクセス、広範囲にわたる誤報、システムの完全性を侵害した。
本研究では,LLMの異常な挙動を隠蔽法で検出する手法を提案する。
論文 参考訳(メタデータ) (2025-04-01T05:58:14Z) - Unleashing the Power of Pre-trained Encoders for Universal Adversarial Attack Detection [21.03032944637112]
アドリアック攻撃は、現実世界のAIシステムにとって重要なセキュリティ脅威となる。
本稿では,大規模事前学習型視覚言語モデルCLIPに基づく,軽量な逆検出フレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-01T05:21:45Z) - Fundamental Limitations in Defending LLM Finetuning APIs [61.29028411001255]
細調整APIの防御は、細調整攻撃を防ぐ能力に基本的に制限されていることを示す。
我々は、危険知識を隠蔽的に伝達するために、良性モデル出力のエントロピーを再利用する'ポイントワイド検出不能'アタックを構築した。
OpenAIの微調整APIに対する攻撃をテストし、有害な複数の質問に対する回答を導き出すことに成功しました。
論文 参考訳(メタデータ) (2025-02-20T18:45:01Z) - Dual Defense: Enhancing Privacy and Mitigating Poisoning Attacks in Federated Learning [10.102889257118145]
フェデレート・ラーニング(FL)は、本質的にプライバシー侵害や毒殺攻撃の影響を受けやすい。
本稿では,DDF(Dual Defense Federated Learning)フレームワークを紹介する。
DDFedは、新たな参加者の役割を導入したり、既存のFLトポロジを破壊したりすることなく、プライバシー保護を強化し、毒殺攻撃を緩和する。
論文 参考訳(メタデータ) (2025-02-08T12:28:20Z) - Celtibero: Robust Layered Aggregation for Federated Learning [0.0]
Celtiberoは, 対向操作に対する強靭性を高めるため, 層状アグリゲーションを統合した新しい防御機構である。
セルティベロは、標的外および標的標的の毒殺攻撃において、最小攻撃成功率(ASR)を維持しつつ、常に高い主タスク精度(MTA)を達成することを実証した。
論文 参考訳(メタデータ) (2024-08-26T12:54:00Z) - Mitigating Malicious Attacks in Federated Learning via Confidence-aware Defense [3.685395311534351]
Federated Learning(FL)は、分散機械学習ダイアグラムで、複数のクライアントがプライベートなローカルデータを共有せずに、グローバルモデルを協調的にトレーニングすることができる。
FLシステムは、データ中毒やモデル中毒を通じて悪意のあるクライアントで起こっている攻撃に対して脆弱である。
既存の防御方法は通常、特定の種類の中毒を緩和することに焦点を当てており、しばしば目に見えないタイプの攻撃に対して効果がない。
論文 参考訳(メタデータ) (2024-08-05T20:27:45Z) - Poisoning with A Pill: Circumventing Detection in Federated Learning [33.915489514978084]
本稿では,FLにおける検出に対する既存のFL中毒攻撃の有効性とステルス性を高めるために,汎用的かつ攻撃に依存しない拡張手法を提案する。
具体的には、FLトレーニング中に、戦略的にピルを構築、生成、注入する3段階の方法論を用いており、それに従ってピル構築、ピル中毒およびピル注入と命名されている。
論文 参考訳(メタデータ) (2024-07-22T05:34:47Z) - Watch the Watcher! Backdoor Attacks on Security-Enhancing Diffusion Models [65.30406788716104]
本研究では,セキュリティ強化拡散モデルの脆弱性について検討する。
これらのモデルは、シンプルで効果的なバックドア攻撃であるDIFF2に非常に感受性があることを実証する。
ケーススタディでは、DIFF2は、ベンチマークデータセットとモデル間で、パーフィケーション後の精度と認定精度の両方を著しく削減できることを示している。
論文 参考訳(メタデータ) (2024-06-14T02:39:43Z) - Bridging the Gap: Automated Analysis of Sancus [2.045495982086173]
本研究では,サンクスの組込みセキュリティアーキテクチャにおけるこのギャップを減らすための新しい手法を提案する。
我々の手法は、与えられた脅威モデルにおける攻撃を見つけるか、システムのセキュリティに対する確率的保証を与える。
論文 参考訳(メタデータ) (2024-04-15T07:26:36Z) - Enabling Privacy-Preserving Cyber Threat Detection with Federated Learning [4.475514208635884]
本研究は, プライバシー保護型サイバー脅威検出のための学習の可能性について, 有効性, ビザンチンレジリエンス, 効率の観点から, 体系的に検証した。
FLトレーニングされた検出モデルは、中央訓練された検出モデルに匹敵する性能が得られることを示す。
現実的な脅威モデルの下では、FLはデータ中毒とモデル中毒の両方の攻撃に対して抵抗性があることが判明した。
論文 参考訳(メタデータ) (2024-04-08T01:16:56Z) - Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。
バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む
我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
論文 参考訳(メタデータ) (2024-03-24T18:33:15Z) - FreqFed: A Frequency Analysis-Based Approach for Mitigating Poisoning
Attacks in Federated Learning [98.43475653490219]
フェデレート・ラーニング(Federated Learning, FL)は、毒素による攻撃を受けやすい。
FreqFedは、モデルの更新を周波数領域に変換する新しいアグリゲーションメカニズムである。
FreqFedは, 凝集モデルの有用性に悪影響を及ぼすことなく, 毒性攻撃を効果的に軽減できることを実証した。
論文 参考訳(メタデータ) (2023-12-07T16:56:24Z) - Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。
これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。
この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
論文 参考訳(メタデータ) (2023-10-16T02:11:20Z) - Avoid Adversarial Adaption in Federated Learning by Multi-Metric
Investigations [55.2480439325792]
Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。
FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。
我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。
MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
論文 参考訳(メタデータ) (2023-06-06T11:44:42Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳(メタデータ) (2022-10-23T22:24:03Z) - Certifiers Make Neural Networks Vulnerable to Availability Attacks [70.69104148250614]
私たちは初めて、逆転戦略が敵によって意図的に引き起こされる可能性があることを示します。
いくつかの入力や摂動のために自然に発生する障害に加えて、敵は故意にフォールバックを誘発するために訓練時間攻撃を使用することができる。
我々は2つの新しいアベイラビリティーアタックを設計し、これらの脅威の実用的妥当性を示す。
論文 参考訳(メタデータ) (2021-08-25T15:49:10Z) - No Need to Know Physics: Resilience of Process-based Model-free Anomaly
Detection for Industrial Control Systems [95.54151664013011]
本稿では,システムの物理的特性に反する逆スプーフ信号を生成するための新しい枠組みを提案する。
トップセキュリティカンファレンスで公表された4つの異常検知器を分析した。
論文 参考訳(メタデータ) (2020-12-07T11:02:44Z) - Adversarial Attacks against Face Recognition: A Comprehensive Study [3.766020696203255]
顔認識(FR)システムは優れた検証性能を示した。
近年の研究では、(深い)FRシステムは、知覚できない、または知覚できないが自然に見える対向的な入力画像に興味深い脆弱性を示すことが示されている。
論文 参考訳(メタデータ) (2020-07-22T22:46:00Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳(メタデータ) (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。