論文の概要: Locally Differentially Private Federated Learning: Efficient Algorithms
with Tight Risk Bounds
- arxiv url: http://arxiv.org/abs/2106.09779v1
- Date: Thu, 17 Jun 2021 19:41:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 02:51:06.850907
- Title: Locally Differentially Private Federated Learning: Efficient Algorithms
with Tight Risk Bounds
- Title（参考訳）: 局所的離散的連関学習:密接なリスク境界を持つ効率的なアルゴリズム
- Authors: Andrew Lowy and Meisam Razaviyayn
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、不均一でバランスの取れない、しばしばセンシティブなローカルデータを持つ多くのクライアントが、モデルを学ぶために協力する分散学習パラダイムである。
ローカル微分プライバシ(LDP)は、信頼できるサードパーティに頼ることなく、トレーニング中および後に各クライアントのデータ漏洩を確実に保証する。
我々は、不均衡で異質なデータ、クライアント間で異なるプライバシー要求、信頼できないコミュニケーションを備えた一般的なセットアップを検討し、各ラウンドでランダムなクライアント数/サブセットが利用可能である。
- 参考スコア（独自算出の注目度）: 12.386462516398469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a distributed learning paradigm in which many
clients with heterogeneous, unbalanced, and often sensitive local data,
collaborate to learn a model. Local Differential Privacy (LDP) provides a
strong guarantee that each client's data cannot be leaked during and after
training, without relying on a trusted third party. While LDP is often believed
to be too stringent to allow for satisfactory utility, our paper challenges
this belief. We consider a general setup with unbalanced, heterogeneous data,
disparate privacy needs across clients, and unreliable communication, where a
random number/subset of clients is available each round. We propose three LDP
algorithms for smooth (strongly) convex FL; each are noisy variations of
distributed minibatch SGD. One is accelerated and one involves novel
time-varying noise, which we use to obtain the first non-trivial LDP excess
risk bound for the fully general non-i.i.d. FL problem. Specializing to i.i.d.
clients, our risk bounds interpolate between the best known and/or optimal
bounds in the centralized setting and the cross-device setting, where each
client represents just one person's data. Furthermore, we show that in certain
regimes, our convergence rate (nearly) matches the corresponding non-private
lower bound or outperforms state of the art non-private algorithms (``privacy
for free''). Finally, we validate our theoretical results and illustrate the
practical utility of our algorithm with numerical experiments.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、不均一でバランスの取れない、しばしばセンシティブなローカルデータを持つ多くのクライアントが、モデルを学ぶために協力する分散学習パラダイムである。
ローカル微分プライバシ(LDP)は、信頼できるサードパーティに頼ることなく、トレーニング中および後に各クライアントのデータ漏洩を確実に保証する。
LDPは, 便益を十分に確保するには厳しすぎると考えられることが多いが, 本論文はこの信念に異議を唱える。
我々は、不均衡で異質なデータ、クライアント間で異なるプライバシー要求、信頼できないコミュニケーションを備えた一般的なセットアップを検討し、各ラウンドでランダムなクライアント数/サブセットが利用可能である。
分散ミニバッチSGDの雑音変動を,スムーズな(強い)凸FLに対する3つの LDP アルゴリズムを提案する。
1つは加速され、新しい時間変化ノイズが伴うが、これは完全一般の非i.d に対して最初の非自明な LDP 過剰リスクを得るために用いられる。
FL問題。
i.i.d.に特化。
クライアント、私たちのリスクバウンダリは、集中型設定における最もよく知られた、あるいは最適なバウンダリと、各クライアントが1人のデータを表すクロスデバイス設定の間を補間します。
さらに、あるレジームにおいて、我々の収束率は、対応する非プライベートな下限または非プライベートアルゴリズムの非プライベートな状態(``privacy for free'')と一致することを示した。
最後に,この理論結果を検証し,数値実験によるアルゴリズムの実用性について述べる。
関連論文リスト
- A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data [14.748203847227542]
プライベート・フェア・フェデレーション・ラーニング(FL)のための新しいアルゴリズムを開発した。
我々のアルゴリズムは、サイロ間レコードレベル差分プライバシー(ISRL-DP)を満たす。
実験では、さまざまなプライバシレベルにわたるアルゴリズムのトレードオフとして、最先端の公正性・正確性フレームワークが実証されている。
論文 参考訳（メタデータ） (2024-11-12T15:51:35Z) - Differential Privacy on Trust Graphs [54.55190841518906]
差分プライバシー(DP)は、各当事者がそのデータで他の当事者の(既知の)サブセットのみを信頼するマルチパーティ環境で研究する。
我々は、DPのローカルモデルよりもはるかに優れたプライバシーとユーティリティのトレードオフを持つ集約のためのDPアルゴリズムを提供する。
論文 参考訳（メタデータ） (2024-10-15T20:31:04Z) - Secure Stateful Aggregation: A Practical Protocol with Applications in Differentially-Private Federated Learning [36.42916779389165]
DP-FTRLベースのアプローチは、すでに業界に広く展開されている。
セキュアなステートフルアグリゲーションを導入します。これは、アグリゲーション値のプライベートストレージを可能にする、単純なアグリゲーションのみのデータ構造です。
DP-FTRLをベースとした私的フェデレーション学習を実現するためには,セキュアなステートフルアグリゲーションが十分である。
論文 参考訳（メタデータ） (2024-10-15T07:45:18Z) - Private Heterogeneous Federated Learning Without a Trusted Server Revisited: Error-Optimal and Communication-Efficient Algorithms for Convex Losses [12.620782629498812]
Inter-Silo Record-Level Differential Privacy (ISRL-DP)は、各サイロのデータ漏洩を防止する。
異種サイロデータの存在下で最適な過大なリスク境界を実現する新しいISRL-DP FLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-12T21:20:44Z) - Balancing Privacy and Performance for Private Federated Learning
Algorithms [4.681076651230371]
Federated Learning(FL)は、複数のクライアントがプライベートデータを公開せずにモデルをトレーニングする分散機械学習フレームワークである。
FLアルゴリズムは、共有前に各クライアントのモデル更新にノイズを導入する差分プライバシーメカニズムを頻繁に採用する。
ローカルステップの数と通信ラウンドの間に最適なバランスがあることを示し、プライバシー予算内での収束性能を最大化する。
論文 参考訳（メタデータ） (2023-04-11T10:42:11Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。
公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。
提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文 参考訳（メタデータ） (2023-02-02T12:56:46Z) - Private Non-Convex Federated Learning Without a Trusted Server [7.971065005161566]
非信頼の損失関数を持つクロスサイロ学習(FL)のための新しいアルゴリズムと、他のサイロを信頼していない人のデータを提案する。
我々のアルゴリズムは、凸性やi.d.データを仮定することなく、ISRL-DP FLの最適凸、等質(すなわち等質)を達成する。
数値実験により,我々のアルゴリズムは,ほとんどのプライバシレベルのベースラインよりも精度が高いことがわかった。
論文 参考訳（メタデータ） (2022-03-13T19:17:15Z) - Privacy Amplification via Shuffling for Linear Contextual Bandits [51.94904361874446]
ディファレンシャルプライバシ(DP)を用いた文脈線形バンディット問題について検討する。
プライバシのシャッフルモデルを利用して,JDP と LDP のプライバシ/ユーティリティトレードオフを実現することができることを示す。
以上の結果から,ローカルプライバシを保ちながらシャッフルモデルを活用することで,JDPとDPのトレードオフを得ることが可能であることが示唆された。
論文 参考訳（メタデータ） (2021-12-11T15:23:28Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳（メタデータ） (2021-10-27T04:11:06Z) - Locally Differentially Private Reinforcement Learning for Linear Mixture
Markov Decision Processes [78.27542864367821]
強化学習(RL)アルゴリズムは、ユーザのプライベートで機密性の高いデータに依存するパーソナライズされたサービスを提供するために使用することができる。
ユーザのプライバシを保護するために、プライバシ保護RLアルゴリズムが要求されている。
線形混合MDPと呼ばれるマルコフ決定過程(MDP)のクラスを学習するための新しい$(varepsilon, delta)$-LDPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-19T17:44:09Z) - User-Level Privacy-Preserving Federated Learning: Analysis and
Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。
情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。
サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-29T10:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。