論文の概要: Federated Stochastic Primal-dual Learning with Differential Privacy
- arxiv url: http://arxiv.org/abs/2204.12284v1
- Date: Tue, 26 Apr 2022 13:10:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-27 18:12:39.969397
- Title: Federated Stochastic Primal-dual Learning with Differential Privacy
- Title（参考訳）: 差分プライバシーを用いた確率的原始双対学習
- Authors: Yiwei Li, Shuai Wang, Tsung-Hui Chang, and Chong-Yung Chi
- Abstract要約: 差分プライバシ(FedSPDDP)を用いた新しいフェデレーション原始双対アルゴリズムを提案する。
分析の結果、データサンプリング戦略とPCPはデータのプライバシを高めることができる一方で、ローカルなSGDステップが多ければ多いほど、プライバシリークが増大する可能性が示唆された。
提案アルゴリズムの実用性能を評価する実験結果を示す。
- 参考スコア（独自算出の注目度）: 15.310299472656533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a new paradigm that enables many clients to
jointly train a machine learning (ML) model under the orchestration of a
parameter server while keeping the local data not being exposed to any third
party. However, the training of FL is an interactive process between local
clients and the parameter server. Such process would cause privacy leakage
since adversaries may retrieve sensitive information by analyzing the overheard
messages. In this paper, we propose a new federated stochastic primal-dual
algorithm with differential privacy (FedSPD-DP). Compared to the existing
methods, the proposed FedSPD-DP incorporates local stochastic gradient descent
(local SGD) and partial client participation (PCP) for addressing the issues of
communication efficiency and straggler effects due to randomly accessed
clients. Our analysis shows that the data sampling strategy and PCP can enhance
the data privacy whereas the larger number of local SGD steps could increase
privacy leakage, revealing a non-trivial tradeoff between algorithm
communication efficiency and privacy protection. Specifically, we show that, by
guaranteeing $(\epsilon, \delta)$-DP for each client per communication round,
the proposed algorithm guarantees $(\mathcal{O}(q\epsilon \sqrt{p T}),
\delta)$-DP after $T$ communication rounds while maintaining an
$\mathcal{O}(1/\sqrt{pTQ})$ convergence rate for a convex and non-smooth
learning problem, where $Q$ is the number of local SGD steps, $p$ is the client
sampling probability, $q=\max_{i} q_i/\sqrt{1-q_i}$ and $q_i$ is the data
sampling probability of each client under PCP. Experiment results are presented
to evaluate the practical performance of the proposed algorithm and comparison
with state-of-the-art methods.
- Abstract（参考訳）: フェデレートラーニング(FL)は、多くのクライアントがパラメータサーバのオーケストレーションの下で機械学習(ML)モデルを共同でトレーニングし、ローカルデータをサードパーティに公開しないようにするための新しいパラダイムである。
しかしながら、flのトレーニングは、ローカルクライアントとパラメータサーバ間の対話的なプロセスである。
このようなプロセスは、相手が過度に耳を傾けたメッセージを分析して機密情報を検索できるため、プライバシーの漏洩を引き起こす。
本稿では,差分プライバシー(fedspd-dp)を用いた新しい連立確率的原始双対アルゴリズムを提案する。
従来の手法と比較して,FedSPD-DPは局所確率勾配勾配(ローカルSGD)と部分的クライアント参加(PCP)を組み込んで,ランダムにアクセスされたクライアントによる通信効率とトラグラー効果の問題に対処する。
分析の結果、データサンプリング戦略とpcpはデータプライバシを強化できるのに対し、ローカルsgdのステップが多ければプライバシの漏洩が増加し、アルゴリズム通信効率とプライバシ保護との非自明なトレードオフが明らかになった。
Specifically, we show that, by guaranteeing $(\epsilon, \delta)$-DP for each client per communication round, the proposed algorithm guarantees $(\mathcal{O}(q\epsilon \sqrt{p T}), \delta)$-DP after $T$ communication rounds while maintaining an $\mathcal{O}(1/\sqrt{pTQ})$ convergence rate for a convex and non-smooth learning problem, where $Q$ is the number of local SGD steps, $p$ is the client sampling probability, $q=\max_{i} q_i/\sqrt{1-q_i}$ and $q_i$ is the data sampling probability of each client under PCP.
提案アルゴリズムの性能評価と最先端手法との比較実験を行った。
関連論文リスト
- Federated Learning under Periodic Client Participation and Heterogeneous Data: A New Communication-Efficient Algorithm and Analysis [14.98493572536424]
連合学習では、クライアントが常にトレーニングに参加することができると仮定することが一般的であり、実際にはユーザデバイスでは実現不可能である。
最近のフェデレーション学習は、より現実的な参加パターンの下で、サイクリッククライアントの可用性や任意の参加として分析されている。
論文 参考訳（メタデータ） (2024-10-30T15:41:35Z) - Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。
ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
論文 参考訳（メタデータ） (2024-06-05T17:41:42Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。
本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。
提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
論文 参考訳（メタデータ） (2023-01-03T05:38:43Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Differentially Private Federated Learning via Inexact ADMM with Multiple
Local Updates [0.0]
我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。
当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
論文 参考訳（メタデータ） (2022-02-18T19:58:47Z) - Differentially Private Federated Learning via Inexact ADMM [0.0]
差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。
我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。
提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
論文 参考訳（メタデータ） (2021-06-11T02:28:07Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。