論文の概要: User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization
- arxiv url: http://arxiv.org/abs/2003.00229v2
- Date: Fri, 29 Jan 2021 01:39:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 20:25:36.866753
- Title: User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization
- Title（参考訳）: ユーザレベルプライバシ保護フェデレーション学習:分析と性能最適化
- Authors: Kang Wei, Jun Li, Ming Ding, Chuan Ma, Hang Su, Bo Zhang and H.
Vincent Poor
- Abstract要約: フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 77.43075255745389
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL), as a type of collaborative machine learning
framework, is capable of preserving private data from mobile terminals (MTs)
while training the data into useful models. Nevertheless, from a viewpoint of
information theory, it is still possible for a curious server to infer private
information from the shared models uploaded by MTs. To address this problem, we
first make use of the concept of local differential privacy (LDP), and propose
a user-level differential privacy (UDP) algorithm by adding artificial noise to
the shared models before uploading them to servers. According to our analysis,
the UDP framework can realize $(\epsilon_{i}, \delta_{i})$-LDP for the $i$-th
MT with adjustable privacy protection levels by varying the variances of the
artificial noise processes. We then derive a theoretical convergence
upper-bound for the UDP algorithm. It reveals that there exists an optimal
number of communication rounds to achieve the best learning performance. More
importantly, we propose a communication rounds discounting (CRD) method.
Compared with the heuristic search method, the proposed CRD method can achieve
a much better trade-off between the computational complexity of searching and
the convergence performance. Extensive experiments indicate that our UDP
algorithm using the proposed CRD method can effectively improve both the
training efficiency and model quality for the given privacy protection levels.
- Abstract（参考訳）: フェデレートラーニング(FL)は、協調機械学習フレームワークの一種であり、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
それでも情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベート情報を推測することは可能である。
この問題に対処するため,我々はまず,ローカルディファレンシャルプライバシ(ldp)の概念を利用し,サーバにアップロードする前に共有モデルに人工的なノイズを加えることで,ユーザレベルのディファレンシャルプライバシ(udp)アルゴリズムを提案する。
我々の分析によれば、UDPフレームワークは、人工ノイズプロセスのばらつきを変化させることで、調整可能なプライバシー保護レベルを持つ$i$-th MTに対して$(\epsilon_{i}, \delta_{i})$-LDPを実現することができる。
次に、UDPアルゴリズムの理論的収束上限を導出する。
最高の学習性能を達成するために最適なコミュニケーションラウンドが複数存在することを明らかにする。
さらに,通信ラウンド割引(CRD)方式を提案する。
ヒューリスティック探索法と比較して,提案手法は探索の計算複雑性と収束性能とのトレードオフをはるかに向上させることができる。
広汎な実験により,提案手法を用いたUDPアルゴリズムは,与えられたプライバシ保護レベルに対するトレーニング効率とモデル品質の両方を効果的に向上できることが示された。
関連論文リスト
- FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - Balancing Privacy and Performance for Private Federated Learning
Algorithms [4.681076651230371]
Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。
FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。
ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
論文 参考訳（メタデータ） (2023-04-11T10:42:11Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳（メタデータ） (2023-03-30T13:14:54Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - OpBoost: A Vertical Federated Tree Boosting Framework Based on
Order-Preserving Desensitization [26.386265547513887]
Vertical Federated Learning(FL)は、同じデータサンプルの非重複属性を持つユーザが、生データを共有することなく、共同でモデルをトレーニングできる新しいパラダイムである。
最近の研究は、トレーニングプロセスやトレーニングされたモデルからプライバシーが漏洩するのを防ぐのに、まだ不十分であることを示しています。
本稿では,垂直FL下でのプライバシー保護木増進アルゴリズムの研究に焦点をあてる。
論文 参考訳（メタデータ） (2022-10-04T02:21:18Z) - Federated Stochastic Primal-dual Learning with Differential Privacy [15.310299472656533]
差分プライバシ(FedSPDDP)を用いた新しいフェデレーション原始双対アルゴリズムを提案する。
分析の結果、データサンプリング戦略とPCPはデータのプライバシを高めることができる一方で、ローカルなSGDステップが多ければ多いほど、プライバシリークが増大する可能性が示唆された。
提案アルゴリズムの実用性能を評価する実験結果を示す。
論文 参考訳（メタデータ） (2022-04-26T13:10:37Z) - Differentially Private Federated Learning via Inexact ADMM with Multiple
Local Updates [0.0]
我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。
当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
論文 参考訳（メタデータ） (2022-02-18T19:58:47Z) - Differentially Private Federated Learning via Inexact ADMM [0.0]
差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。
我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
論文 参考訳（メタデータ） (2021-06-11T02:28:07Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。