論文の概要: Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy

• arxiv url: http://arxiv.org/abs/2305.00873v2
• Date: Tue, 2 May 2023 04:52:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 11:12:35.191757
• Title: Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy
• Title（参考訳）: クライアントレベルの差分プライバシー下でのフラッターランドスケープとフェデレーション学習の一般化
• Authors: Yifan Shi, Kang Wei, Li Shen, Yingqi Liu, Xueqian Wang, Bo Yuan, and Dacheng Tao
• Abstract要約: 本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
• 参考スコア（独自算出の注目度）: 67.33715954653098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To defend the inference attacks and mitigate the sensitive information leakages in Federated Learning (FL), client-level Differentially Private FL (DPFL) is the de-facto standard for privacy protection by clipping local updates and adding random noise. However, existing DPFL methods tend to make a sharp loss landscape and have poor weight perturbation robustness, resulting in severe performance degradation. To alleviate these issues, we propose a novel DPFL algorithm named DP-FedSAM, which leverages gradient perturbation to mitigate the negative impact of DP. Specifically, DP-FedSAM integrates Sharpness Aware Minimization (SAM) optimizer to generate local flatness models with improved stability and weight perturbation robustness, which results in the small norm of local updates and robustness to DP noise, thereby improving the performance. To further reduce the magnitude of random noise while achieving better performance, we propose DP-FedSAM-$top_k$ by adopting the local update sparsification technique. From the theoretical perspective, we present the convergence analysis to investigate how our algorithms mitigate the performance degradation induced by DP. Meanwhile, we give rigorous privacy guarantees with R\'enyi DP, the sensitivity analysis of local updates, and generalization analysis. At last, we empirically confirm that our algorithms achieve state-of-the-art (SOTA) performance compared with existing SOTA baselines in DPFL.
• Abstract（参考訳）: 推論攻撃を防御し、フェデレーション学習(fl)における機密情報漏洩を軽減するため、クライアントレベルの差分プライベートfl(dpfl)は、ローカル更新をクリップしてランダムノイズを追加することにより、プライバシ保護のデファクトスタンダードである。 しかし, 既存のdpfl法では, 鋭い損失景観を呈する傾向があり, 重量変動の頑健性が低下し, 性能が低下する傾向がみられた。 これらの問題を緩和するために,dp-fedsamと呼ばれる新しいdpflアルゴリズムを提案し,dpの負の影響を軽減するために勾配摂動を利用する。 具体的には、DP-FedSAMはシャープネス認識最小化(SAM)オプティマイザを統合し、安定性と重量摂動堅牢性を改善した局所平坦度モデルを生成する。 そこで本研究では,局所更新スパルシフィケーション手法を応用し,ランダムノイズの大きさを低減し,性能向上を図るため,dp-fedsam-$top_k$を提案する。 理論的観点から,本アルゴリズムがDPによる性能劣化を緩和する方法を検討するために,収束解析を提案する。 一方,r\'enyi dpによる厳密なプライバシー保証,ローカル更新の感度解析,一般化分析を行う。 最後に、DPFLの既存のSOTAベースラインと比較して、我々のアルゴリズムが最先端(SOTA)性能を達成することを実証的に確認する。

関連論文リスト

• DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
  論文  参考訳（メタデータ） (2024-09-20T16:49:01Z)
• DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction [47.65999101635902]
  差分プライベート(DP)トレーニングは、トレーニングされた機械学習モデルから収集したトレーニングデータの機密情報の漏洩を防止する。 DOPPLERと呼ばれる新しいコンポーネントを開発し、この周波数領域内のDPノイズを効果的に増幅する。 実験の結果,低域通過フィルタを用いたDPは,試験精度で3%-10%向上した。
  論文  参考訳（メタデータ） (2024-08-24T04:27:07Z)
• Mitigating Disparate Impact of Differential Privacy in Federated Learning through Robust Clustering [4.768272342753616]
  Federated Learning(FL)は、データをローカライズする分散機械学習(ML)アプローチである。 最近の研究は、クラスタリングによるバニラFLの性能公平性に対処しようと試みているが、この手法は依然として敏感であり、エラーを起こしやすい。 本稿では,クライアントのクラスタを高度に均一な設定で効果的に識別する新しいクラスタ化DPFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T17:03:31Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。