論文の概要: A Theoretical Analysis of Efficiency Constrained Utility-Privacy
Bi-Objective Optimization in Federated Learning
- arxiv url: http://arxiv.org/abs/2312.16554v2
- Date: Mon, 29 Jan 2024 12:27:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 20:47:12.456703
- Title: A Theoretical Analysis of Efficiency Constrained Utility-Privacy
Bi-Objective Optimization in Federated Learning
- Title(参考訳): フェデレーション学習における効率制約付きユーティリティ・プライヴァシー二目的最適化の理論解析
- Authors: Hanlin Gu, Xinyuan Zhao, Gongxi Zhu, Yuxing Han, Yan Kang, Lixin Fan,
Qiang Yang
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアントが、個々のデータを共有せずに、共同で共有モデルを学ぶことを可能にする。
FLでは差別化プライバシが一般的なテクニックとして登場し、ユーティリティやトレーニング効率に影響を与えながら、個々のユーザデータのプライバシを保護する。
本稿ではDPFLにおける効率制約付きユーティリティプライバシ双目的最適化問題を体系的に定式化する。
- 参考スコア(独自算出の注目度): 23.563789510998333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables multiple clients to collaboratively learn a
shared model without sharing their individual data. Concerns about utility,
privacy, and training efficiency in FL have garnered significant research
attention. Differential privacy has emerged as a prevalent technique in FL,
safeguarding the privacy of individual user data while impacting utility and
training efficiency. Within Differential Privacy Federated Learning (DPFL),
previous studies have primarily focused on the utility-privacy trade-off,
neglecting training efficiency, which is crucial for timely completion.
Moreover, differential privacy achieves privacy by introducing controlled
randomness (noise) on selected clients in each communication round. Previous
work has mainly examined the impact of noise level ($\sigma$) and communication
rounds ($T$) on the privacy-utility dynamic, overlooking other influential
factors like the sample ratio ($q$, the proportion of selected clients). This
paper systematically formulates an efficiency-constrained utility-privacy
bi-objective optimization problem in DPFL, focusing on $\sigma$, $T$, and $q$.
We provide a comprehensive theoretical analysis, yielding analytical solutions
for the Pareto front. Extensive empirical experiments verify the validity and
efficacy of our analysis, offering valuable guidance for low-cost parameter
design in DPFL.
- Abstract(参考訳): フェデレーション学習(fl)は、複数のクライアントが個別のデータを共有することなく、協調的に共有モデルを学ぶことができる。
flのユーティリティ、プライバシ、トレーニング効率に関する懸念は、大きな研究の注目を集めている。
差分プライバシはflの一般的なテクニックとして登場し、ユーティリティとトレーニング効率に影響を与えながら、個々のユーザデータのプライバシを保護している。
差別化プライバシフェデレート・フェデレーション・ラーニング(DPFL)では、従来の研究は主にユーティリティ・プライバシのトレードオフに焦点を当てており、トレーニングの効率を無視している。
さらに、ディファレンシャルプライバシは、各通信ラウンド毎に選択したクライアントに制御されたランダム性(ノイズ)を導入することで、プライバシを実現する。
これまでの研究は主に、ノイズレベル($\sigma$)と通信ラウンド($T$)が、プライバシユーティリティのダイナミクスに与える影響を調査し、サンプル比率($q$、選択されたクライアントの割合)などの他の影響要因を見越した。
本稿ではDPFLにおける効率制約付きユーティリティプライバシ双目的最適化問題を体系的に定式化し,$\sigma$,$T$,$q$に着目した。
我々は包括的理論解析を行い,パレート前線の分析解を導出する。
DPFLにおける低コストパラメータ設計のための有用なガイダンスを提供するとともに,本分析の有効性と有効性を検証する。
関連論文リスト
- DPBalance: Efficient and Fair Privacy Budget Scheduling for Federated
Learning as a Service [15.94482624965024]
フェデレーテッド・ラーニング(FL)は、一般的な分散機械学習スキームとして登場した。
DPBalanceは,効率性と公平性を両立させる新しいプライバシ予算スケジューリング機構である。
DPBalanceは平均効率改善が1.44倍のsim 3.49倍、平均フェアネス改善が1.37倍のsim 24.32倍であることを示す。
論文 参考訳(メタデータ) (2024-02-15T05:19:53Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and
Non-smooth Problems with Model Sparsification [54.767648945613004]
フェデレートラーニング(FL)は急速に成長している分野として認識されている。
パラメータの非平滑性と非共有性は、FLアプリケーションで一般的である。
論文 参考訳(メタデータ) (2023-10-30T14:15:47Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Optimizing Privacy, Utility and Efficiency in Constrained
Multi-Objective Federated Learning [20.627157142499378]
我々はNSGA-IIとPSLに基づく2つの改良されたCMOFLアルゴリズムを開発した。
3つのプライバシ保護機構のための,プライバシリーク,ユーティリティ損失,トレーニングコストの具体的な測定を設計する。
3つの保護機構のそれぞれで実施した実証実験により,提案アルゴリズムの有効性が示された。
論文 参考訳(メタデータ) (2023-04-29T17:55:38Z) - Probably Approximately Correct Federated Learning [20.85915650297227]
Federated Learning(FL)は、プライバシ、ユーティリティ、効率性を主柱とする、新たな分散学習パラダイムである。
既存の研究は、無限小のプライバシー漏洩、ユーティリティ損失、効率性を同時に達成することはありそうにないことを示している。
FLアルゴリズムの設計において、最適なトレードオフソリューションを見つける方法が重要な考慮事項である。
論文 参考訳(メタデータ) (2023-04-10T15:12:34Z) - A Field Guide to Federated Optimization [161.3779046812383]
フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。
本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
論文 参考訳(メタデータ) (2021-07-14T18:09:08Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳(メタデータ) (2020-12-02T12:18:27Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。