論文の概要: Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in
Federated Learning
- arxiv url: http://arxiv.org/abs/2106.03328v2
- Date: Thu, 27 Jul 2023 05:13:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 21:09:49.495476
- Title: Securing Secure Aggregation: Mitigating Multi-Round Privacy Leakage in
Federated Learning
- Title(参考訳): セキュアアグリゲーションの確保 - フェデレートラーニングにおけるマルチロードプライバシリークの軽減
- Authors: Jinhyun So, Ramy E. Ali, Basak Guler, Jiantao Jiao, Salman Avestimehr
- Abstract要約: セキュアなアグリゲーションフレームワークであるMulti-RoundSecAggを導入する。
特に,複数のトレーニングラウンドにおいてFLのプライバシー保証を定量化する新たな指標を提案する。
当社のフレームワークは,各ラウンドにおける参加者の公正度と平均数についても慎重に説明しています。
- 参考スコア(独自算出の注目度): 21.70169634677215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Secure aggregation is a critical component in federated learning (FL), which
enables the server to learn the aggregate model of the users without observing
their local models. Conventionally, secure aggregation algorithms focus only on
ensuring the privacy of individual users in a single training round. We contend
that such designs can lead to significant privacy leakages over multiple
training rounds, due to partial user selection/participation at each round of
FL. In fact, we show that the conventional random user selection strategies in
FL lead to leaking users' individual models within number of rounds that is
linear in the number of users. To address this challenge, we introduce a secure
aggregation framework, Multi-RoundSecAgg, with multi-round privacy guarantees.
In particular, we introduce a new metric to quantify the privacy guarantees of
FL over multiple training rounds, and develop a structured user selection
strategy that guarantees the long-term privacy of each user (over any number of
training rounds). Our framework also carefully accounts for the fairness and
the average number of participating users at each round. Our experiments on
MNIST and CIFAR-10 datasets in the IID and the non-IID settings demonstrate the
performance improvement over the baselines, both in terms of privacy protection
and test accuracy.
- Abstract(参考訳): セキュアアグリゲーションは、サーバがローカルモデルを観察せずにユーザのアグリゲーションモデルを学習できるようにする、連邦学習(FL)において重要なコンポーネントである。
従来、セキュアな集約アルゴリズムは、単一のトレーニングラウンドで個々のユーザのプライバシを確保することだけに重点を置いています。
このような設計は、FLの各ラウンドにおける部分的なユーザ選択/参加のために、複数のトレーニングラウンドで重大なプライバシリークを引き起こす可能性がある、と私たちは主張する。
実際、FLにおける従来のランダムなユーザ選択戦略は、ユーザ数に線形なラウンド数で、個々のモデルのリークにつながることを示す。
この課題に対処するために,複数ラウンドのプライバシー保証を備えたセキュアアグリゲーションフレームワークであるMulti-RoundSecAggを導入する。
特に,複数のトレーニングラウンドにおけるflのプライバシ保証を定量化する新しい指標を導入し,各ユーザの(任意のトレーニングラウンドで)長期的なプライバシを保証する構造化ユーザ選択戦略を開発した。
当社のフレームワークは、各ラウンドのフェアネスと参加ユーザの平均数についても慎重に説明しています。
IIDおよび非IID設定におけるMNISTおよびCIFAR-10データセットに関する実験は、プライバシー保護とテスト精度の両方の観点から、ベースラインに対する性能改善を示す。
関連論文リスト
- Cross-silo Federated Learning with Record-level Personalized
Differential Privacy [11.716905567797392]
フェデレートラーニングは、トレーニングプロセス中にクライアントのコントリビューションを保護することによって、クライアント側のデータのプライバシ保護を改善するための一般的なアプローチとして現れている。
既存のソリューションは通常、すべてのレコードに対して均一なプライバシ予算を仮定し、各レコードのプライバシ要件を満たすには不十分な、ワンサイズのすべてのソリューションを提供する。
本稿では,クライアントレベルサンプリングと非一様レコードレベルサンプリングの両方を併用した2段階ハイブリッドサンプリング手法を用いて,プライバシ要件を満たす新しいフレームワークrPDP-FLを提案する。
論文 参考訳(メタデータ) (2024-01-29T16:01:46Z) - ULDP-FL: Federated Learning with Across Silo User-Level Differential
Privacy [20.402678975554053]
Differentially Private Federated Learning (DP-FL)は、正式なプライバシを保証するための協調的な機械学習アプローチとして注目を集めている。
Uldp-FLは,単一ユーザのデータが複数のサイロに属する可能性のあるクロスサイロFLにおいて,ユーザレベルのDPを保証するように設計された,新しいFLフレームワークである。
論文 参考訳(メタデータ) (2023-08-23T15:50:51Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳(メタデータ) (2023-06-14T15:47:52Z) - Efficient Vertical Federated Learning with Secure Aggregation [10.295508659999783]
本稿では,安全アグリゲーションのための最先端セキュリティモジュールを用いて,垂直FLを安全かつ効率的に訓練するための新しい設計を提案する。
我々は,同相暗号 (HE) と比較して9.1e2 3.8e4 の高速化を図りながら,本手法がトレーニング性能に影響を及ぼさないことを実証的に実証した。
論文 参考訳(メタデータ) (2023-05-18T18:08:36Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳(メタデータ) (2021-07-19T11:43:24Z) - Federated Mixture of Experts [94.25278695272874]
FedMixは特別なモデルのアンサンブルをトレーニングできるフレームワークです。
類似したデータ特性を持つユーザが同じメンバーを選択して統計的強度を共有することを示す。
論文 参考訳(メタデータ) (2021-07-14T14:15:24Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳(メタデータ) (2020-07-10T18:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。