論文の概要: Convergent Differential Privacy Analysis for General Federated Learning: the f-DP Perspective

• arxiv url: http://arxiv.org/abs/2408.15621v1
• Date: Wed, 28 Aug 2024 08:22:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 16:53:03.826483
• Title: Convergent Differential Privacy Analysis for General Federated Learning: the f-DP Perspective
• Title（参考訳）: 一般フェデレーション学習のための収束型微分プライバシー分析:f-DPの視点から
• Authors: Yan Sun, Li Shen, Dacheng Tao,
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、局所的なプライバシー保護に焦点を当てた効率的な協調学習パラダイムである。 差分プライバシー漏洩(DP)は、ローカルプライバシーの信頼性を捕捉し、確実にするための古典的なアプローチである。 ノイズの多いFL-DPの既存の分析は、主に構成に依存しており、プライバシー上の課題を厳格に定量化することはできない。
• 参考スコア（独自算出の注目度）: 57.35402286842029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is an efficient collaborative training paradigm extensively developed with a focus on local privacy protection, and differential privacy (DP) is a classical approach to capture and ensure the reliability of local privacy. The powerful cooperation of FL and DP provides a promising learning framework for large-scale private clients, juggling both privacy securing and trustworthy learning. As the predominant algorithm of DP, the noisy perturbation has been widely studied and incorporated into various federated algorithms, theoretically proven to offer significant privacy protections. However, existing analyses in noisy FL-DP mostly rely on the composition theorem and cannot tightly quantify the privacy leakage challenges, which is nearly tight for small numbers of communication rounds but yields an arbitrarily loose and divergent bound under the large communication rounds. This implies a counterintuitive judgment, suggesting that FL may not provide adequate privacy protection during long-term training. To further investigate the convergent privacy and reliability of the FL-DP framework, in this paper, we comprehensively evaluate the worst privacy of two classical methods under the non-convex and smooth objectives based on the f-DP analysis, i.e. Noisy-FedAvg and Noisy-FedProx methods. With the aid of the shifted-interpolation technique, we successfully prove that the worst privacy of the Noisy-FedAvg method achieves a tight convergent lower bound. Moreover, in the Noisy-FedProx method, with the regularization of the proxy term, the worst privacy has a stable constant lower bound. Our analysis further provides a solid theoretical foundation for the reliability of privacy protection in FL-DP. Meanwhile, our conclusions can also be losslessly converted to other classical DP analytical frameworks, e.g. $(\epsilon,\delta)$-DP and R$\acute{\text{e}}$nyi-DP (RDP).
• Abstract（参考訳）: フェデレーテッド・ラーニング(Federated Learning, FL)は、局所的なプライバシー保護に焦点を当てた効率的な協調訓練パラダイムであり、差分プライバシー(DP)は、局所的なプライバシーの信頼性を捕捉し確実にするための古典的なアプローチである。 FLとDPの強力な協力により、大規模プライベートクライアントのための有望な学習フレームワークが提供され、プライバシ保護と信頼できる学習の両方をジャグリングする。 DPの主要なアルゴリズムとして、ノイズの多い摂動は様々な連邦化アルゴリズムに広く研究され、理論的には重要なプライバシー保護を提供することが証明されている。 しかし、ノイズの多いFL-DPの既存の分析は、主に合成定理に依存しており、少数の通信ラウンドでほぼ厳密なプライバシー漏洩の問題を厳格に定量化することはできない。 これは、FLが長期トレーニング中に適切なプライバシー保護を提供していないことを示唆する直感的な判断である。 本稿では,FL-DPフレームワークの収束したプライバシと信頼性について,F-DP解析,すなわちNoisy-FedAvg法とNoisy-FedProx法に基づいて,非凸および滑らかな目的の下での2つの古典的手法の最悪のプライバシを包括的に評価する。 シフト補間手法の助けを借りて、ノイズ-FedAvg法の最悪のプライバシーが強収束下界を達成することを証明した。 さらに、Noisy-FedProxメソッドでは、プロキシ項の正規化により、最悪のプライバシは安定して低いバウンドを持つ。 我々の分析は、FL-DPにおけるプライバシー保護の信頼性に関する確かな理論的基盤を提供する。 一方、我々の結論は、他の古典DP分析フレームワーク、例えば、g $(\epsilon,\delta)$-DPとR$\acute{\text{e}}$nyi-DP(RDP)に損失なく変換できる。

関連論文リスト

• Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy [55.357715095623554]
  ローカル微分プライバシー(LDP)は、ユーザーが外部の関係者を信頼することなく、強力なプライバシー保証を提供する。 本稿では,ベイジアン・フレームワークであるベイジアン・コーディネート・ディファレンシャル・プライバシ(BCDP)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T03:39:55Z)
• The Last Iterate Advantage: Empirical Auditing and Principled Heuristic Analysis of Differentially Private SGD [46.71175773861434]
  ノイズカットされた勾配勾配(DP-SGD)の簡易なプライバシー解析法を提案する。 各種トレーニング手順に適用したプライバシー監査の結果を予測できることを実験的に示す。 既存のプライバシー監査攻撃は、視覚と言語の両方のタスクにおける分析によって制限されていることを実証的に示しています。
  論文  参考訳（メタデータ） (2024-10-08T16:51:10Z)
• Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
  ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。 本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。 その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-20T00:11:59Z)
• Deciphering the Interplay between Local Differential Privacy, Average Bayesian Privacy, and Maximum Bayesian Privacy [5.622065847054885]
  我々はベイジアン・プライバシを導入し、LDPとベイジアン・プライバシ・トレードオフに関する新たな洞察を公表した。 私たちの研究は、将来の経験的探索の基盤となるだけでなく、プライバシー保護アルゴリズムの設計を促進することを約束しています。
  論文  参考訳（メタデータ） (2024-03-25T10:06:45Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Understanding the Interplay between Privacy and Robustness in Federated Learning [15.673448030003788]
  フェデレートラーニング(FL)は、プライバシー保護機械学習の有望なパラダイムとして浮上している。 最近の作業では、FLのいくつかのプライバシとロバストネスの弱点が強調されている。 LDPがFLの敵対的堅牢性にどのように影響するかは、まだ不明である。
  論文  参考訳（メタデータ） (2021-06-13T16:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。