論文の概要: How Much Privacy Does Federated Learning with Secure Aggregation
Guarantee?
- arxiv url: http://arxiv.org/abs/2208.02304v1
- Date: Wed, 3 Aug 2022 18:44:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-05 13:08:50.532391
- Title: How Much Privacy Does Federated Learning with Secure Aggregation
Guarantee?
- Title(参考訳): セキュアアグリゲーションによる連合学習のプライバシはどの程度か?
- Authors: Ahmed Roushdy Elkordy, Jiang Zhang, Yahya H. Ezzeldin, Konstantinos
Psounis, Salman Avestimehr
- Abstract要約: フェデレートラーニング(FL)は、複数のユーザに保存されたデータに対して、プライバシ保護機械学習を可能にすることへの関心が高まっている。
データはユーザのデバイスを離れることはないが、トレーニングデータに対する重要な計算がトレーニングされたローカルモデル形式で共有されるため、プライバシは保証されない。
セキュアアグリゲーション(SA)は、FLのプライバシーを守るためのフレームワークとして開発されている。
- 参考スコア(独自算出の注目度): 22.7443077369789
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) has attracted growing interest for enabling
privacy-preserving machine learning on data stored at multiple users while
avoiding moving the data off-device. However, while data never leaves users'
devices, privacy still cannot be guaranteed since significant computations on
users' training data are shared in the form of trained local models. These
local models have recently been shown to pose a substantial privacy threat
through different privacy attacks such as model inversion attacks. As a remedy,
Secure Aggregation (SA) has been developed as a framework to preserve privacy
in FL, by guaranteeing the server can only learn the global aggregated model
update but not the individual model updates. While SA ensures no additional
information is leaked about the individual model update beyond the aggregated
model update, there are no formal guarantees on how much privacy FL with SA can
actually offer; as information about the individual dataset can still
potentially leak through the aggregated model computed at the server. In this
work, we perform a first analysis of the formal privacy guarantees for FL with
SA. Specifically, we use Mutual Information (MI) as a quantification metric and
derive upper bounds on how much information about each user's dataset can leak
through the aggregated model update. When using the FedSGD aggregation
algorithm, our theoretical bounds show that the amount of privacy leakage
reduces linearly with the number of users participating in FL with SA. To
validate our theoretical bounds, we use an MI Neural Estimator to empirically
evaluate the privacy leakage under different FL setups on both the MNIST and
CIFAR10 datasets. Our experiments verify our theoretical bounds for FedSGD,
which show a reduction in privacy leakage as the number of users and local
batch size grow, and an increase in privacy leakage with the number of training
rounds.
- Abstract(参考訳): フェデレーテッド・ラーニング(FL)は、複数のユーザに保存されたデータに対して、データをオフデバイスから移動することを避けながら、プライバシ保護機械学習を可能にすることへの関心が高まっている。
しかしながら、データはユーザのデバイスを離れることはないが、トレーニングデータのかなりの計算が訓練されたローカルモデル形式で共有されるため、プライバシは保証されない。
これらのローカルモデルは、モデル反転攻撃のような異なるプライバシ攻撃を通じて、重大なプライバシー脅威を引き起こすことが最近示されている。
修正として、セキュアアグリゲーション(sa)は、個々のモデルのアップデートではなく、サーバがグローバルなアグリゲーションモデルのアップデートのみを学習できることを保証することによって、flのプライバシを保護するフレームワークとして開発された。
SAは、集計されたモデル更新以外の個々のモデルアップデートに関する追加情報がリークされることを保証するが、SAとのプライバシFLが実際に提供できる量に関する正式な保証はない。
本研究では, FL と SA との正式なプライバシー保証に関する最初の分析を行う。
具体的には、MI(Mutual Information)を定量化指標として使用し、集約されたモデル更新を通じて、各ユーザのデータセットに関する情報がどの程度漏洩するかの上限を導出する。
FedSGDアグリゲーションアルゴリズムを使用すると、私たちの理論的境界は、プライバシー漏洩の量が、SAとFLに参加しているユーザ数とともに線形に減少することを示している。
理論的境界を検証するために、MI Neural Estimatorを使用して、MNISTおよびCIFAR10データセットの異なるFLセットアップ下でのプライバシー漏洩を経験的に評価する。
実験では,ユーザ数の増加とローカルバッチサイズの増加に伴ってプライバシー漏洩が減少し,トレーニングラウンド数の増加に伴い,プライバシリークが増大するFedSGDの理論的限界を検証した。
関連論文リスト
- FLTrojan: Privacy Leakage Attacks against Federated Language Models
Through Selective Weight Tampering [2.3811618212533663]
悪意のあるクライアントが、サーバからの協力なしに、FL内の他のユーザのプライバシーに敏感なデータを漏洩させる方法を示す。
最良性能の手法は、会員推算を29%改善し、最大70%の個人データ再構成を実現した。
論文 参考訳(メタデータ) (2023-10-24T19:50:01Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳(メタデータ) (2023-02-24T11:27:39Z) - Privacy-Preserving Distributed Expectation Maximization for Gaussian
Mixture Model using Subspace Perturbation [4.2698418800007865]
フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。
我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。
数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-09-16T09:58:03Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - BEAS: Blockchain Enabled Asynchronous & Secure Federated Machine
Learning [0.0]
我々は、N-party Federated Learningのための最初のブロックチェーンベースのフレームワークBEASを紹介する。
グラデーションプルーニングを使用したトレーニングデータの厳格なプライバシー保証を提供する。
異常検出プロトコルは、データ汚染攻撃のリスクを最小限に抑えるために使用される。
また、異種学習環境における早期収束を防止するための新しいプロトコルも定義する。
論文 参考訳(メタデータ) (2022-02-06T17:11:14Z) - Robbing the Fed: Directly Obtaining Private Data in Federated Learning
with Modified Models [56.0250919557652]
フェデレーション学習は、ユーザーのプライバシーと効率を高めるという約束で急速に人気を集めている。
ユーザプライバシに対する以前の攻撃はスコープが限られており、少数のデータポイントに集約されたグラデーション更新にはスケールしない。
共有モデルアーキテクチャの最小限ではあるが悪意のある変更に基づく新しい脅威モデルを導入する。
論文 参考訳(メタデータ) (2021-10-25T15:52:06Z) - Compression Boosts Differentially Private Federated Learning [0.7742297876120562]
フェデレートされた学習により、分散エンティティは、自身のデータを共有することなく、共通のモデルを協調的にトレーニングできる。
悪意のあるエンティティが、捕獲された勾配から参加者のトレーニングデータに関するプライベート情報を学ぶことができるような、さまざまな推論や再構築攻撃に対して脆弱なままである。
本稿では,2つのデータセットを用いて,従来の非私的フェデレート学習方式と比較して,通信コストを最大95%削減できることを示す。
論文 参考訳(メタデータ) (2020-11-10T13:11:03Z) - LDP-FL: Practical Private Aggregation in Federated Learning with Local
Differential Privacy [20.95527613004989]
フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。
それまでの作業は3つの問題により現実的な解決には至らなかった。
最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
論文 参考訳(メタデータ) (2020-07-31T01:08:57Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。