論文の概要: Optimal Client Sampling in Federated Learning with Client-Level Heterogeneous Differential Privacy

• arxiv url: http://arxiv.org/abs/2505.13655v1
• Date: Mon, 19 May 2025 18:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.489136
• Title: Optimal Client Sampling in Federated Learning with Client-Level Heterogeneous Differential Privacy
• Title（参考訳）: クライアントレベル異種差分プライバシを用いたフェデレーション学習における最適クライアントサンプリング
• Authors: Jiahao Xu, Rui Hu, Olivera Kotevska,
• Abstract要約: プライバシー予算に基づいてクライアントをグループに分割し,各グループ内のクライアントレベルのDPを実現し,プライバシー予算の無駄を削減するGDPFedを提案する。 また、GDPFed$+$を導入することで、不要なノイズを排除し、グループごとのクライアントサンプリング比率を最適化します。
• 参考スコア（独自算出の注目度）: 6.517767018830131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning with client-level differential privacy (DP) provides a promising framework for collaboratively training models while rigorously protecting clients' privacy. However, classic approaches like DP-FedAvg struggle when clients have heterogeneous privacy requirements, as they must uniformly enforce the strictest privacy level across clients, leading to excessive DP noise and significant model utility degradation. Existing methods to improve the model utility in such heterogeneous privacy settings often assume a trusted server and are largely heuristic, resulting in suboptimal performance and lacking strong theoretical underpinnings. In this work, we address these challenges under a practical attack model where both clients and the server are honest-but-curious. We propose GDPFed, which partitions clients into groups based on their privacy budgets and achieves client-level DP within each group to reduce the privacy budget waste and hence improve the model utility. Based on the privacy and convergence analysis of GDPFed, we find that the magnitude of DP noise depends on both model dimensionality and the per-group client sampling ratios. To further improve the performance of GDPFed, we introduce GDPFed$^+$, which integrates model sparsification to eliminate unnecessary noise and optimizes per-group client sampling ratios to minimize convergence error. Extensive empirical evaluations on multiple benchmark datasets demonstrate the effectiveness of GDPFed$^+$, showing substantial performance gains compared with state-of-the-art methods.
• Abstract（参考訳）: クライアントレベルの差分プライバシー(DP)を使用したフェデレートラーニング(Federated Learning)は、クライアントのプライバシを厳格に保護しつつ、モデルを協調的にトレーニングするための有望なフレームワークを提供する。 しかし、DP-FedAvgのような古典的なアプローチは、クライアントが不均一なプライバシ要件を持つ場合に苦労する。 このような不均一なプライバシ設定でモデルユーティリティを改善するための既存の方法は、信頼できるサーバを前提としており、主にヒューリスティックであり、亜最適性能と強力な理論的基盤を欠いている。 本研究では,クライアントとサーバの両方が正直だが正確である,実用的な攻撃モデルの下で,これらの課題に対処する。 本稿では,プライバシ予算に基づいてクライアントをグループに分割し,各グループ内のクライアントレベルのDPを実現して,プライバシ予算の無駄を低減し,モデルユーティリティを向上させるGDPFedを提案する。 GDPFedのプライバシと収束分析から,DPノイズの大きさはモデル次元とグループごとのクライアントサンプリング比の両方に依存することがわかった。 GDPFedの性能をさらに向上するため,不必要なノイズを解消し,グループごとのサンプリング比を最適化し,収束誤差を最小化するためにモデルスペーシフィケーションを統合したGDPFed$^+$を導入する。 複数のベンチマークデータセットに対する大規模な実証評価は、GDPFed$^+$の有効性を示し、最先端の手法と比較してかなりの性能向上を示した。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• The Power of Bias: Optimizing Client Selection in Federated Learning with Heterogeneous Differential Privacy [38.55420329607416]
  データ品質とDPノイズの影響は、クライアントを選択する際に考慮する必要がある。 実データセットを凸損失関数と非凸損失関数の両方で実験する。
  論文  参考訳（メタデータ） (2024-08-16T10:19:27Z)
• Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
  本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。 ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
  論文  参考訳（メタデータ） (2024-06-05T17:41:42Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。