論文の概要: Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective

• arxiv url: http://arxiv.org/abs/2408.15621v2
• Date: Sat, 12 Oct 2024 08:27:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 04:30:58.633969
• Title: Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective
• Title（参考訳）: 一般フェデレーション学習のための収束型微分プライバシー分析:$f$-DP
• Authors: Yan Sun, Li Shen, Dacheng Tao,
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。 ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
• 参考スコア（独自算出の注目度）: 57.35402286842029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is an efficient collaborative training paradigm extensively developed with a focus on local privacy, and differential privacy (DP) is a classical approach to capture and ensure the reliability of private security. Their powerful cooperation provides a promising paradigm for the large-scale private clients. As a predominant implementation, the noisy perturbation has been widely studied, being theoretically proven to offer significant protections. However, existing analyses in FL-DP mostly rely on the composition theorem and cannot tightly quantify the privacy leakage challenges, which is tight for a few communication rounds but yields an arbitrarily loose and divergent bound eventually. This also implies a counterintuitive judgment, suggesting that FL-DP may not provide adequate privacy support during long-term training. To further investigate the convergent privacy and reliability of the FL-DP framework, in this paper, we comprehensively evaluate the worst privacy of two classical methods under the non-convex and smooth objectives based on the $f$-DP analysis. With the aid of the shifted interpolation technique, we successfully prove that privacy in {\ttfamily Noisy-FedAvg} has a tight convergent bound. Moreover, with the regularization of the proxy term, privacy in {\ttfamily Noisy-FedProx} has a stable constant lower bound. Our analysis further demonstrates a solid theoretical foundation for the reliability of privacy in FL-DP. Meanwhile, our conclusions can also be losslessly converted to other classical DP analytical frameworks, e.g. $(\epsilon,\delta)$-DP and R$\acute{\text{e}}$nyi-DP (RDP).
• Abstract（参考訳）: フェデレーテッド・ラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムであり、差分プライバシ(DP)は、プライベートセキュリティの信頼性を捕捉し、確実にするための古典的なアプローチである。 彼らの強力な協力は、大規模なプライベートクライアントにとって有望なパラダイムを提供する。 主要な実装として、ノイズの摂動が広く研究され、理論上重要な保護を提供することが証明されている。 しかし、FL-DPの既存の分析は主に構成定理に依存しており、いくつかの通信ラウンドで厳密なプライバシー漏洩の問題を厳格に定量化することはできない。 これはまた、FL-DPが長期トレーニング中に適切なプライバシー支援を提供していないことを示唆する直感的な判断を示唆している。 本稿では,FL-DPフレームワークの収束したプライバシと信頼性について,F$-DP分析に基づいて,非凸および滑らかな目的の下での2つの古典的手法の最悪のプライバシを包括的に評価する。 シフト補間法の助けを借りて、tt Family Noisy-FedAvg {\displaystyle {\tt Family Noisy-FedAvg} のプライバシーが密収束境界を持つことを示すことに成功した。 さらに、プロキシ項の正規化により、tt Family Noisy-FedProx} のプライバシは安定な定数の低いバウンドを持つ。 さらに,FL-DPにおけるプライバシーの信頼性に関する理論的根拠を考察した。 一方、我々の結論は、他の古典DP分析フレームワーク、例えば、g $(\epsilon,\delta)$-DPとR$\acute{\text{e}}$nyi-DP(RDP)に損失なく変換できる。

関連論文リスト

• Enhancing Feature-Specific Data Protection via Bayesian Coordinate Differential Privacy [55.357715095623554]
  ローカル微分プライバシー(LDP)は、ユーザーが外部の関係者を信頼することなく、強力なプライバシー保証を提供する。 本稿では,ベイジアン・フレームワークであるベイジアン・コーディネート・ディファレンシャル・プライバシ(BCDP)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T03:39:55Z)
• The Last Iterate Advantage: Empirical Auditing and Principled Heuristic Analysis of Differentially Private SGD [46.71175773861434]
  ノイズカットされた勾配勾配(DP-SGD)の簡易なプライバシー解析法を提案する。 各種トレーニング手順に適用したプライバシー監査の結果を予測できることを実験的に示す。 既存のプライバシー監査攻撃は、視覚と言語の両方のタスクにおける分析によって制限されていることを実証的に示しています。
  論文  参考訳（メタデータ） (2024-10-08T16:51:10Z)
• Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
  ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。 本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。 その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-20T00:11:59Z)
• Deciphering the Interplay between Local Differential Privacy, Average Bayesian Privacy, and Maximum Bayesian Privacy [5.622065847054885]
  我々はベイジアン・プライバシを導入し、LDPとベイジアン・プライバシ・トレードオフに関する新たな洞察を公表した。 私たちの研究は、将来の経験的探索の基盤となるだけでなく、プライバシー保護アルゴリズムの設計を促進することを約束しています。
  論文  参考訳（メタデータ） (2024-03-25T10:06:45Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Understanding the Interplay between Privacy and Robustness in Federated Learning [15.673448030003788]
  フェデレートラーニング(FL)は、プライバシー保護機械学習の有望なパラダイムとして浮上している。 最近の作業では、FLのいくつかのプライバシとロバストネスの弱点が強調されている。 LDPがFLの敵対的堅牢性にどのように影響するかは、まだ不明である。
  論文  参考訳（メタデータ） (2021-06-13T16:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。