論文の概要: Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective
- arxiv url: http://arxiv.org/abs/2408.15621v2
- Date: Sat, 12 Oct 2024 08:27:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:02:49.481534
- Title: Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective
- Title(参考訳): 一般フェデレーション学習のための収束型微分プライバシー分析:$f$-DP
- Authors: Yan Sun, Li Shen, Dacheng Tao,
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。
ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
- 参考スコア(独自算出の注目度): 57.35402286842029
- License:
- Abstract: Federated learning (FL) is an efficient collaborative training paradigm extensively developed with a focus on local privacy, and differential privacy (DP) is a classical approach to capture and ensure the reliability of private security. Their powerful cooperation provides a promising paradigm for the large-scale private clients. As a predominant implementation, the noisy perturbation has been widely studied, being theoretically proven to offer significant protections. However, existing analyses in FL-DP mostly rely on the composition theorem and cannot tightly quantify the privacy leakage challenges, which is tight for a few communication rounds but yields an arbitrarily loose and divergent bound eventually. This also implies a counterintuitive judgment, suggesting that FL-DP may not provide adequate privacy support during long-term training. To further investigate the convergent privacy and reliability of the FL-DP framework, in this paper, we comprehensively evaluate the worst privacy of two classical methods under the non-convex and smooth objectives based on the $f$-DP analysis. With the aid of the shifted interpolation technique, we successfully prove that privacy in {\ttfamily Noisy-FedAvg} has a tight convergent bound. Moreover, with the regularization of the proxy term, privacy in {\ttfamily Noisy-FedProx} has a stable constant lower bound. Our analysis further demonstrates a solid theoretical foundation for the reliability of privacy in FL-DP. Meanwhile, our conclusions can also be losslessly converted to other classical DP analytical frameworks, e.g. $(\epsilon,\delta)$-DP and R$\acute{\text{e}}$nyi-DP (RDP).
- Abstract(参考訳): フェデレーテッド・ラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムであり、差分プライバシ(DP)は、プライベートセキュリティの信頼性を捕捉し、確実にするための古典的なアプローチである。
彼らの強力な協力は、大規模なプライベートクライアントにとって有望なパラダイムを提供する。
主要な実装として、ノイズの摂動が広く研究され、理論上重要な保護を提供することが証明されている。
しかし、FL-DPの既存の分析は主に構成定理に依存しており、いくつかの通信ラウンドで厳密なプライバシー漏洩の問題を厳格に定量化することはできない。
これはまた、FL-DPが長期トレーニング中に適切なプライバシー支援を提供していないことを示唆する直感的な判断を示唆している。
本稿では,FL-DPフレームワークの収束したプライバシと信頼性について,F$-DP分析に基づいて,非凸および滑らかな目的の下での2つの古典的手法の最悪のプライバシを包括的に評価する。
シフト補間法の助けを借りて、tt Family Noisy-FedAvg {\displaystyle {\tt Family Noisy-FedAvg} のプライバシーが密収束境界を持つことを示すことに成功した。
さらに、プロキシ項の正規化により、tt Family Noisy-FedProx} のプライバシは安定な定数の低いバウンドを持つ。
さらに,FL-DPにおけるプライバシーの信頼性に関する理論的根拠を考察した。
一方、我々の結論は、他の古典DP分析フレームワーク、例えば、g $(\epsilon,\delta)$-DPとR$\acute{\text{e}}$nyi-DP(RDP)に損失なく変換できる。
関連論文リスト
- Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。
本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。
その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
論文 参考訳(メタデータ) (2024-07-20T00:11:59Z) - Deciphering the Interplay between Local Differential Privacy, Average Bayesian Privacy, and Maximum Bayesian Privacy [5.622065847054885]
我々はベイジアン・プライバシを導入し、LDPとベイジアン・プライバシ・トレードオフに関する新たな洞察を公表した。
私たちの研究は、将来の経験的探索の基盤となるだけでなく、プライバシー保護アルゴリズムの設計を促進することを約束しています。
論文 参考訳(メタデータ) (2024-03-25T10:06:45Z) - TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳(メタデータ) (2024-02-16T16:41:14Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳(メタデータ) (2022-07-19T05:47:30Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - Understanding the Interplay between Privacy and Robustness in Federated
Learning [15.673448030003788]
フェデレートラーニング(FL)は、プライバシー保護機械学習の有望なパラダイムとして浮上している。
最近の作業では、FLのいくつかのプライバシとロバストネスの弱点が強調されている。
LDPがFLの敵対的堅牢性にどのように影響するかは、まだ不明である。
論文 参考訳(メタデータ) (2021-06-13T16:01:35Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-09-18T20:18:35Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。