論文の概要: DP-FedPGN: Finding Global Flat Minima for Differentially Private Federated Learning via Penalizing Gradient Norm

• arxiv url: http://arxiv.org/abs/2510.27504v1
• Date: Fri, 31 Oct 2025 14:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.129279
• Title: DP-FedPGN: Finding Global Flat Minima for Differentially Private Federated Learning via Penalizing Gradient Norm
• Title（参考訳）: DP-FedPGN:グラディエントノルムによる個人差分学習のためのグローバルフラットミニマの発見
• Authors: Junkang Liu, Yuxuan Tian, Fanhua Shang, Yuanyuan Liu, Hongying Liu, Junchao Zhou, Daorui Ding,
• Abstract要約: そこで我々は,局所的損失に対してグローバル勾配ノルムペナルティを導入し,大域的平坦度最小値を求める新しいCL-DPFLアルゴリズムDP-FedPGNを提案する。 また、R'enyi DPを使用して、厳格なプライバシー保証を提供し、ローカルアップデートに対する感度分析を提供しています。
• 参考スコア（独自算出の注目度）: 23.88397615132701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To prevent inference attacks in Federated Learning (FL) and reduce the leakage of sensitive information, Client-level Differentially Private Federated Learning (CL-DPFL) is widely used. However, current CL-DPFL methods usually result in sharper loss landscapes, which leads to a decrease in model generalization after differential privacy protection. By using Sharpness Aware Minimization (SAM), the current popular federated learning methods are to find a local flat minimum value to alleviate this problem. However, the local flatness may not reflect the global flatness in CL-DPFL. Therefore, to address this issue and seek global flat minima of models, we propose a new CL-DPFL algorithm, DP-FedPGN, in which we introduce a global gradient norm penalty to the local loss to find the global flat minimum. Moreover, by using our global gradient norm penalty, we not only find a flatter global minimum but also reduce the locally updated norm, which means that we further reduce the error of gradient clipping. From a theoretical perspective, we analyze how DP-FedPGN mitigates the performance degradation caused by DP. Meanwhile, the proposed DP-FedPGN algorithm eliminates the impact of data heterogeneity and achieves fast convergence. We also use R\'enyi DP to provide strict privacy guarantees and provide sensitivity analysis for local updates. Finally, we conduct effectiveness tests on both ResNet and Transformer models, and achieve significant improvements in six visual and natural language processing tasks compared to existing state-of-the-art algorithms. The code is available at https://github.com/junkangLiu0/DP-FedPGN
• Abstract（参考訳）: フェデレートラーニング(FL)における推論攻撃を防止し、センシティブな情報の漏洩を低減するため、クライアントレベル微分プライベートラーニング(CL-DPFL)が広く使用されている。 しかし、現在のCL-DPFL法は、通常、よりシャープなロスランドスケープをもたらすため、差分プライバシー保護後のモデル一般化が減少する。 Sharpness Aware Minimization (SAM) を用いることで、現在の一般的なフェデレーション学習手法は、この問題を軽減するために、局所的に平坦な最小値を求めることである。 しかし、局所平坦性は、CL-DPFLの大域平坦性を反映していない。 そこで本研究では, この問題に対処し, モデルの大域的平坦化を求めるために, 局所的損失に対して大域的勾配ノルムペナルティを導入する, CL-DPFL アルゴリズム DP-FedPGN を提案する。 さらに,グローバル・グラデーション・ノルム・ペナルティを用いることで,より平坦な大域的最小値を求めるだけでなく,局所的に更新されたノルムを減らし,勾配クリッピングの誤差をさらに低減する。 理論的な観点から,DP-FedPGNはDPによる性能劣化を緩和する。 一方,DP-FedPGNアルゴリズムはデータの不均一性の影響を排除し,高速収束を実現する。 また、R\enyi DPを使用して、厳格なプライバシー保証を提供し、ローカルアップデートに対する感度分析を提供しています。 最後に、ResNetモデルとTransformerモデルの両方で有効性テストを行い、既存の最先端アルゴリズムと比較して、6つの視覚および自然言語処理タスクにおいて大幅な改善を実現した。 コードはhttps://github.com/junkangLiu0/DP-FedPGNで入手できる。

関連論文リスト

• Enabling Differentially Private Federated Learning for Speech Recognition: Benchmarks, Adaptive Optimizers and Gradient Clipping [42.2819343711085]
  DP付きFLは、少なくとも数百万のユーザを抱える場合、強力なプライバシー保証の下で有効であることを示す。 ASR の DP と FL の高 (低い) 個体群に外挿した場合, 単語誤り率を 1.3% に抑えたユーザレベル (7.2, 10-9$)-DP (4.5, 10-9$)-DP を実現する。
  論文  参考訳（メタデータ） (2023-09-29T19:11:49Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。