論文の概要: Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee

• arxiv url: http://arxiv.org/abs/2505.06651v1
• Date: Sat, 10 May 2025 13:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.966207
• Title: Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee
• Title（参考訳）: Dyn-D$^2$P: 確率的ユーティリティ保証による動的微分プライベート分散学習
• Authors: Zehan Zhu, Yan Huang, Xin Wang, Shouling Ji, Jinming Xu,
• Abstract要約: 動的微分独立分散DP手法(Dyn-D$2$P)を提案する。 Dyn-D$2$P は勾配収束に基づく勾配クリッピング境界と雑音レベルを動的に調整する。 ベンチマークデータセットの実験では、固定レベルノイズを用いた場合よりもDyn-D$2$の方が優れていることが示されている。
• 参考スコア（独自算出の注目度）: 36.82471440872803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing decentralized learning methods with differential privacy (DP) guarantee rely on constant gradient clipping bounds and fixed-level DP Gaussian noises for each node throughout the training process, leading to a significant accuracy degradation compared to non-private counterparts. In this paper, we propose a new Dynamic Differentially Private Decentralized learning approach (termed Dyn-D$^2$P) tailored for general time-varying directed networks. Leveraging the Gaussian DP (GDP) framework for privacy accounting, Dyn-D$^2$P dynamically adjusts gradient clipping bounds and noise levels based on gradient convergence. This proposed dynamic noise strategy enables us to enhance model accuracy while preserving the total privacy budget. Extensive experiments on benchmark datasets demonstrate the superiority of Dyn-D$^2$P over its counterparts employing fixed-level noises, especially under strong privacy guarantees. Furthermore, we provide a provable utility bound for Dyn-D$^2$P that establishes an explicit dependency on network-related parameters, with a scaling factor of $1/\sqrt{n}$ in terms of the number of nodes $n$ up to a bias error term induced by gradient clipping. To our knowledge, this is the first model utility analysis for differentially private decentralized non-convex optimization with dynamic gradient clipping bounds and noise levels.
• Abstract（参考訳）: 差分プライバシー(DP)が保証される既存の分散学習手法の多くは、トレーニングプロセスを通して各ノードに対して一定の勾配クリッピング境界と固定レベルDPガウスノイズに依存しており、非プライベートなものに比べて精度が大幅に低下する。 本稿では,時間差分型分散学習手法(Dyn-D$^2$P)を提案する。 プライバシー会計のためのガウスDP(GDP)フレームワークを活用し、Dyn-D$^2$Pは勾配のクリッピング境界と雑音レベルを勾配収束度に基づいて動的に調整する。 提案した動的ノイズ戦略により,全体のプライバシ予算を維持しながらモデルの精度を向上させることができる。 ベンチマークデータセットに関する大規模な実験は、特に強力なプライバシー保証の下で、固定レベルノイズを使用するものよりもDyn-D$^2$Pの方が優れていることを示した。 さらに、ネットワーク関連パラメータへの明示的な依存を確立するDyn-D$^2$Pに対して、1/\sqrt{n}$のスケーリング係数を勾配クリッピングによって引き起こされるバイアス誤差項までのノード数で証明可能なユーティリティを提供する。 我々の知る限り、これは動的勾配クリッピング境界と雑音レベルを持つ分散分散非凸最適化のための最初のモデルユーティリティ解析である。

関連論文リスト

• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
  そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。 この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-05-04T11:22:53Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private Temporal Difference Learning with Stochastic Nonconvex-Strongly-Concave Optimization [17.361143427007224]
  時間差(TD)学習は、強化学習における政策を評価するために広く用いられている手法である。 本稿では,非線形値関数を用いたTD学習におけるプライバシ保護について考察する。 DPTDは、トランジションに符号化された機密情報に対して$epsilon,n-differential privacy (DP) を保証し、TD学習の本来のパワーを維持できることを示す。
  論文  参考訳（メタデータ） (2022-01-25T16:48:29Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。