論文の概要: Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in
Federated Learning
- arxiv url: http://arxiv.org/abs/2106.03328v1
- Date: Mon, 7 Jun 2021 04:14:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 17:21:03.892547
- Title: Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in
Federated Learning
- Title(参考訳): セキュアアグリゲーションの確保 - フェデレートラーニングにおけるマルチロードプライバシリークの軽減
- Authors: Jinhyun So, Ramy E. Ali, Basak Guler, Jiantao Jiao, Salman Avestimehr
- Abstract要約: 複数ラウンドのプライバシー保証を備えたセキュアアグリゲーションフレームワークを導入する。
トレーニングラウンドの回数に対して,ユーザの長期的プライバシを保証する構造化されたユーザ選択戦略を開発する。
- 参考スコア(独自算出の注目度): 27.818969813026207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Secure aggregation is a critical component in federated learning, which
enables the server to learn the aggregate model of the users without observing
their local models. Conventionally, secure aggregation algorithms focus only on
ensuring the privacy of individual users in a single training round. We contend
that such designs can lead to significant privacy leakages over multiple
training rounds, due to partial user selection/participation at each round of
federated learning. In fact, we empirically show that the conventional random
user selection strategies for federated learning lead to leaking users'
individual models within number of rounds linear in the number of users. To
address this challenge, we introduce a secure aggregation framework with
multi-round privacy guarantees. In particular, we introduce a new metric to
quantify the privacy guarantees of federated learning over multiple training
rounds, and develop a structured user selection strategy that guarantees the
long-term privacy of each user (over any number of training rounds). Our
framework also carefully accounts for the fairness and the average number of
participating users at each round. We perform several experiments on MNIST and
CIFAR-10 datasets in the IID and the non-IID settings to demonstrate the
performance improvement over the baseline algorithms, both in terms of privacy
protection and test accuracy.
- Abstract(参考訳): セキュアアグリゲーションはフェデレーション学習において重要な要素であり、サーバはローカルモデルを観察することなくユーザのアグリゲーションモデルを学習することができる。
従来、セキュアな集約アルゴリズムは、単一のトレーニングラウンドで個々のユーザのプライバシを確保することだけに重点を置いています。
このような設計は、フェデレーション学習の各ラウンドにおけるユーザ選択/参加の部分的原因として、複数のトレーニングラウンドにおいて大きなプライバシーリークを引き起こす可能性がある、と私たちは主張しています。
実際,フェデレーション学習における従来のランダムなユーザ選択戦略が,ユーザ数に線形なラウンド数内で,ユーザの個人モデルを漏洩させることを実証的に示す。
この課題に対処するために,複数ラウンドのプライバシー保証を備えたセキュアアグリゲーションフレームワークを導入する。
特に,複数のトレーニングラウンドにおける連合学習のプライバシ保証を定量化するための新しい指標を導入し,各ユーザの(任意のトレーニングラウンドの)長期プライバシーを保証する構造化ユーザ選択戦略を開発した。
当社のフレームワークは、各ラウンドのフェアネスと参加ユーザの平均数についても慎重に説明しています。
In the IID and the non-IID settings, we performed several experiment on MNIST and CIFAR-10 datasets in the IID and the non-IID settings, to demonstrate the performance improvement over the baseline algorithm。
関連論文リスト
- Cross-silo Federated Learning with Record-level Personalized
Differential Privacy [11.716905567797392]
フェデレートラーニングは、トレーニングプロセス中にクライアントのコントリビューションを保護することによって、クライアント側のデータのプライバシ保護を改善するための一般的なアプローチとして現れている。
既存のソリューションは通常、すべてのレコードに対して均一なプライバシ予算を仮定し、各レコードのプライバシ要件を満たすには不十分な、ワンサイズのすべてのソリューションを提供する。
本稿では,クライアントレベルサンプリングと非一様レコードレベルサンプリングの両方を併用した2段階ハイブリッドサンプリング手法を用いて,プライバシ要件を満たす新しいフレームワークrPDP-FLを提案する。
論文 参考訳(メタデータ) (2024-01-29T16:01:46Z) - ULDP-FL: Federated Learning with Across Silo User-Level Differential
Privacy [20.402678975554053]
Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。
Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
論文 参考訳(メタデータ) (2023-08-23T15:50:51Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳(メタデータ) (2023-06-14T15:47:52Z) - Efficient Vertical Federated Learning with Secure Aggregation [10.295508659999783]
本稿では,安全アグリゲーションのための最先端セキュリティモジュールを用いて,垂直FLを安全かつ効率的に訓練するための新しい設計を提案する。
我々は,同相暗号 (HE) と比較して9.1e2 3.8e4 の高速化を図りながら,本手法がトレーニング性能に影響を及ぼさないことを実証的に実証した。
論文 参考訳(メタデータ) (2023-05-18T18:08:36Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳(メタデータ) (2021-07-19T11:43:24Z) - Federated Mixture of Experts [94.25278695272874]
FedMixは特別なモデルのアンサンブルをトレーニングできるフレームワークです。
類似したデータ特性を持つユーザが同じメンバーを選択して統計的強度を共有することを示す。
論文 参考訳(メタデータ) (2021-07-14T14:15:24Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳(メタデータ) (2020-07-10T18:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。