論文の概要: Maximizing Uncertainty for Federated learning via Bayesian Optimisation-based Model Poisoning
- arxiv url: http://arxiv.org/abs/2501.08002v1
- Date: Tue, 14 Jan 2025 10:46:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-15 13:27:35.400831
- Title: Maximizing Uncertainty for Federated learning via Bayesian Optimisation-based Model Poisoning
- Title（参考訳）: ベイズ最適化に基づくモデル中毒によるフェデレーション学習の不確かさの最大化
- Authors: Marios Aristodemou, Xiaolan Liu, Yuan Wang, Konstantinos G. Kyriakopoulos, Sangarapillai Lambotharan, Qingsong Wei,
- Abstract要約: 悪意のあるユーザは、悪意のあるモデルパラメータを作成して、予測と生成能力を損なうことができる。
我々は,グローバルモデル出力の不確実性を最大化することを目的とした,Delphiという新しいモデル中毒攻撃手法を提案する。
数値的な結果から,Delphi-BOはDelphi-LSTRよりも高い不確実性を誘導することが示された。
- 参考スコア（独自算出の注目度）: 19.416193229599852
- License:
- Abstract: As we transition from Narrow Artificial Intelligence towards Artificial Super Intelligence, users are increasingly concerned about their privacy and the trustworthiness of machine learning (ML) technology. A common denominator for the metrics of trustworthiness is the quantification of uncertainty inherent in DL algorithms, and specifically in the model parameters, input data, and model predictions. One of the common approaches to address privacy-related issues in DL is to adopt distributed learning such as federated learning (FL), where private raw data is not shared among users. Despite the privacy-preserving mechanisms in FL, it still faces challenges in trustworthiness. Specifically, the malicious users, during training, can systematically create malicious model parameters to compromise the models predictive and generative capabilities, resulting in high uncertainty about their reliability. To demonstrate malicious behaviour, we propose a novel model poisoning attack method named Delphi which aims to maximise the uncertainty of the global model output. We achieve this by taking advantage of the relationship between the uncertainty and the model parameters of the first hidden layer of the local model. Delphi employs two types of optimisation , Bayesian Optimisation and Least Squares Trust Region, to search for the optimal poisoned model parameters, named as Delphi-BO and Delphi-LSTR. We quantify the uncertainty using the KL Divergence to minimise the distance of the predictive probability distribution towards an uncertain distribution of model output. Furthermore, we establish a mathematical proof for the attack effectiveness demonstrated in FL. Numerical results demonstrate that Delphi-BO induces a higher amount of uncertainty than Delphi-LSTR highlighting vulnerability of FL systems to model poisoning attacks.
- Abstract（参考訳）: Narrow Artificial IntelligenceからArtificial Super Intelligenceへ移行するにつれて、ユーザは、自身のプライバシと機械学習(ML)技術の信頼性をますます心配しています。
信頼性の指標の一般的な分母は、DLアルゴリズム、特にモデルパラメータ、入力データ、モデル予測に固有の不確実性の定量化である。
DLのプライバシーに関する問題に対処する一般的なアプローチの1つは、ユーザ間でプライベートな生データが共有されないフェデレートラーニング(FL)のような分散学習を採用することである。
FLのプライバシー保護メカニズムにも拘わらず、信頼性に関する課題に直面している。
具体的には、トレーニング中の悪意のあるユーザは、悪意のあるモデルパラメータを体系的に生成し、予測と生成能力を損なうことができる。
悪意のある行動を示すために,グローバルなモデル出力の不確実性を最大化することを目的としたDelphiという新しいモデル中毒攻撃手法を提案する。
局所モデルの最初の隠蔽層における不確かさとモデルパラメータの関係を利用してこれを実現できる。
デルフィは2種類の最適化手法、ベイズ最適化とLast Squares Trust Regionを採用し、デルフィ-BOとデルフィ-LSTRと命名された最適毒素モデルパラメータを探索している。
KLディバージェンスを用いて不確実性を定量化し、予測確率分布からモデル出力の不確実性分布への距離を最小化する。
さらに,FLで実証された攻撃効果の数学的証明を確立した。
数値的な結果から,Delphi-BOはDelphi-LSTRよりも高い不確実性を誘導し,FLシステムの脆弱性を浮き彫りにした。
関連論文リスト
- Formal Logic-guided Robust Federated Learning against Poisoning Attacks [6.997975378492098]
Federated Learning (FL)は、集中型機械学習(ML)に関連するプライバシー問題に対して、有望な解決策を提供する。
FLは、敵クライアントがトレーニングデータやモデル更新を操作して全体的なモデルパフォーマンスを低下させる、毒殺攻撃など、さまざまなセキュリティ上の脅威に対して脆弱である。
本稿では,時系列タスクにおけるフェデレート学習における中毒攻撃の軽減を目的とした防御機構を提案する。
論文 参考訳（メタデータ） (2024-11-05T16:23:19Z) - Identify Backdoored Model in Federated Learning via Individual Unlearning [7.200910949076064]
裏口攻撃は、フェデレートラーニング(FL)の堅牢性に重大な脅威をもたらす
FLにおける悪意のあるモデルを特定するために,ローカルモデル上で個別の未学習を利用する手法であるMASAを提案する。
私たちの知る限りでは、FLの悪意あるモデルを特定するために機械学習を活用するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-11-01T21:19:47Z) - Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T15:47:00Z) - Data-Agnostic Model Poisoning against Federated Learning: A Graph
Autoencoder Approach [65.2993866461477]
本稿では,フェデレートラーニング(FL)に対するデータに依存しないモデル中毒攻撃を提案する。
この攻撃はFLトレーニングデータの知識を必要とせず、有効性と検出不能の両方を達成する。
実験により、FLの精度は提案した攻撃の下で徐々に低下し、既存の防御機構では検出できないことが示された。
論文 参考訳（メタデータ） (2023-11-30T12:19:10Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。
本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。
その独特な洞察力のある性質とその分析も提示される。
論文 参考訳（メタデータ） (2023-10-30T14:15:47Z) - ALUM: Adversarial Data Uncertainty Modeling from Latent Model
Uncertainty Compensation [25.67258563807856]
本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。
提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
論文 参考訳（メタデータ） (2023-03-29T17:24:12Z) - Knowledge Distillation for Federated Learning: a Practical Guide [8.2791533759453]
フェデレートラーニング(FL)は、センシティブな生データを集中的に収集することなく、ディープラーニングモデルのトレーニングを可能にする。
FLの最もよく使われるアルゴリズムはパラメータに基づくスキーム(フェデレート平均化など)である。
我々は、特定のFL問題に適したKDベースのアルゴリズムのレビューを行う。
論文 参考訳（メタデータ） (2022-11-09T08:31:23Z) - A Secure Federated Learning Framework for Residential Short Term Load
Forecasting [1.1254693939127909]
Federated Learning(FL)は、短期的な負荷予測のためにプライベートな生データを公開せずに、モデルの協調的な学習を可能にする機械学習の代替手段である。
標準FLは、障害や悪意のあるクライアントによって実行されるビザンチン攻撃として知られる、難解なサイバー脅威に対して、依然として脆弱である。
我々は、FLモデルとアーキテクチャのセキュリティを保護しつつ、個々のスマートメーターのデータのプライバシを保証する、最先端のプライベートなFLベースのフレームワークを開発する。
論文 参考訳（メタデータ） (2022-09-29T04:36:16Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。