論文の概要: Cross-silo Federated Learning with Record-level Personalized
Differential Privacy
- arxiv url: http://arxiv.org/abs/2401.16251v2
- Date: Tue, 30 Jan 2024 04:57:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 11:36:21.622916
- Title: Cross-silo Federated Learning with Record-level Personalized
Differential Privacy
- Title(参考訳): 記録レベルの個人化差分プライバシーを用いたクロスサイロフェデレーション学習
- Authors: Junxu Liu, Jian Lou, Li Xiong, Jinfei Liu, Xiaofeng Meng
- Abstract要約: フェデレートラーニングは、トレーニングプロセス中にクライアントのコントリビューションを保護することによって、クライアント側のデータのプライバシ保護を改善するための一般的なアプローチとして現れている。
既存のソリューションは通常、すべてのレコードに対して均一なプライバシ予算を仮定し、各レコードのプライバシ要件を満たすには不十分な、ワンサイズのすべてのソリューションを提供する。
本稿では,クライアントレベルサンプリングと非一様レコードレベルサンプリングの両方を併用した2段階ハイブリッドサンプリング手法を用いて,プライバシ要件を満たす新しいフレームワークrPDP-FLを提案する。
- 参考スコア(独自算出の注目度): 11.716905567797392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning enhanced by differential privacy has emerged as a popular
approach to better safeguard the privacy of client-side data by protecting
clients' contributions during the training process. Existing solutions
typically assume a uniform privacy budget for all records and provide
one-size-fits-all solutions that may not be adequate to meet each record's
privacy requirement. In this paper, we explore the uncharted territory of
cross-silo FL with record-level personalized differential privacy. We devise a
novel framework named rPDP-FL, employing a two-stage hybrid sampling scheme
with both client-level sampling and non-uniform record-level sampling to
accommodate varying privacy requirements. A critical and non-trivial problem is
to select the ideal per-record sampling probability q given the personalized
privacy budget {\epsilon}. We introduce a versatile solution named
Simulation-CurveFitting, allowing us to uncover a significant insight into the
nonlinear correlation between q and {\epsilon} and derive an elegant
mathematical model to tackle the problem. Our evaluation demonstrates that our
solution can provide significant performance gains over the baselines that do
not consider personalized privacy preservation.
- Abstract(参考訳): 差分プライバシによって強化されたフェデレーション学習は、トレーニングプロセス中にクライアントのコントリビューションを保護することによって、クライアント側データのプライバシ保護を改善するための一般的なアプローチとして現れている。
既存のソリューションは、通常、すべてのレコードに対して統一されたプライバシー予算を仮定し、各レコードのプライバシー要件を満たすのに適さない1サイズのソリューションを提供する。
本稿では,記録レベル差分プライバシーを持つクロスサイロFLの非チャージ領域について検討する。
本稿では,クライアントレベルサンプリングと非一様レコードレベルサンプリングの両方を併用した2段階ハイブリッドサンプリング手法を用いて,プライバシ要件を満たす新しいフレームワークrPDP-FLを提案する。
決定的かつ非自明な問題は、パーソナライズされたプライバシー予算(epsilon})を考えると、記録ごとのサンプリング確率 q を選択することである。
我々は,q と {\epsilon} の非線形相関に関する重要な知見を解明し,この問題に対処するためのエレガントな数学的モデルを導出する,Simulation-CurveFitting という多目的解を導入する。
評価の結果,プライバシ保護のパーソナライズを考慮しないベースラインに対して,我々のソリューションが大きなパフォーマンス向上をもたらすことが示された。
関連論文リスト
- Personalized Differential Privacy for Ridge Regression [3.4751583941317166]
我々はPDP-OP(Personalized-DP Output Perturbation Method)を導入し、データポイントごとのプライバシレベルに応じてリッジ回帰モデルのトレーニングを可能にする。
我々は、PDP-OPの厳密なプライバシー証明と、結果モデルの正確性を保証する。
我々はPDP-OPがJorgensenらのパーソナライズされたプライバシー技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-01-30T16:00:14Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and
Non-smooth Problems with Model Sparsification [54.767648945613004]
フェデレートラーニング(FL)は急速に成長している分野として認識されている。
パラメータの非平滑性と非共有性は、FLアプリケーションで一般的である。
論文 参考訳(メタデータ) (2023-10-30T14:15:47Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Mean Estimation Under Heterogeneous Privacy: Some Privacy Can Be Free [13.198689566654103]
本研究は,異種差分プライバシー制約に基づく平均推定の問題について考察する。
提案するアルゴリズムは,プライバシレベルが異なる2つのユーザグループが存在する場合に,ミニマックス最適であることが示されている。
論文 参考訳(メタデータ) (2023-04-27T05:23:06Z) - On Differential Privacy and Adaptive Data Analysis with Bounded Space [76.10334958368618]
差分プライバシーと適応データ分析の2つの関連分野の空間複雑性について検討する。
差分プライバシーで効率的に解くために指数関数的に多くの空間を必要とする問題Pが存在することを示す。
アダプティブデータ分析の研究の行は、アダプティブクエリのシーケンスに応答するのに必要なサンプルの数を理解することに焦点を当てている。
論文 参考訳(メタデータ) (2023-02-11T14:45:31Z) - Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。
本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。
提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
論文 参考訳(メタデータ) (2023-01-03T05:38:43Z) - On the Statistical Complexity of Estimation and Testing under Privacy
Constraints [0.0]
差分プライバシー下での統計的テストのパワーをプラグアンドプレイ方式で特徴付ける方法を示す。
プライバシ保護のレベルが非常に高い場合にのみ、プライバシの維持が顕著なパフォーマンス低下をもたらすことを示す。
最後に,プライベート凸解法であるDP-SGLDアルゴリズムを高信頼度で最大推定できることを示した。
論文 参考訳(メタデータ) (2022-10-05T12:55:53Z) - Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。
本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
論文 参考訳(メタデータ) (2022-09-08T22:43:50Z) - On Privacy and Personalization in Cross-Silo Federated Learning [39.031422430404405]
本研究では,クロスサイロ学習(FL)における差分プライバシーの適用について考察する。
平均正規化マルチタスク学習(MR-MTL)がクロスサイロFLの強力なベースラインであることを示す。
平均推定問題に対するMR-MTLの理論的評価とともに,競合する手法の徹底的な実証研究を行った。
論文 参考訳(メタデータ) (2022-06-16T03:26:48Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳(メタデータ) (2021-07-19T11:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。