論文の概要: Enhancing DPSGD via Per-Sample Momentum and Low-Pass Filtering

• arxiv url: http://arxiv.org/abs/2511.08841v1
• Date: Thu, 13 Nov 2025 01:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.249554
• Title: Enhancing DPSGD via Per-Sample Momentum and Low-Pass Filtering
• Title（参考訳）: サンプルごとのモメンタムと低パスフィルタによるDPSGDの高速化
• Authors: Xincheng Xu, Thilina Ranbaduge, Qing Wang, Thierry Rakotoarivelo, David Smith,
• Abstract要約: Differentially Private Gradient Descent(DPSGD)は、正式なプライバシ保証を備えたディープニューラルネットワークのトレーニングに広く使用されている。 既存の手法は、DPノイズの低減がクリッピングバイアスと逆効果を悪化させるため、これらの問題の1つにのみ対処する。 本研究では,サンプルごとの運動量と低域通過フィルタを併用してDPノイズとクリッピングバイアスを同時に緩和する新しい手法であるemphDP-PMLFを提案する。
• 参考スコア（独自算出の注目度）: 4.9871580445771455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DPSGD) is widely used to train deep neural networks with formal privacy guarantees. However, the addition of differential privacy (DP) often degrades model accuracy by introducing both noise and bias. Existing techniques typically address only one of these issues, as reducing DP noise can exacerbate clipping bias and vice-versa. In this paper, we propose a novel method, \emph{DP-PMLF}, which integrates per-sample momentum with a low-pass filtering strategy to simultaneously mitigate DP noise and clipping bias. Our approach uses per-sample momentum to smooth gradient estimates prior to clipping, thereby reducing sampling variance. It further employs a post-processing low-pass filter to attenuate high-frequency DP noise without consuming additional privacy budget. We provide a theoretical analysis demonstrating an improved convergence rate under rigorous DP guarantees, and our empirical evaluations reveal that DP-PMLF significantly enhances the privacy-utility trade-off compared to several state-of-the-art DPSGD variants.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DPSGD)は、正式なプライバシー保証を備えたディープニューラルネットワークのトレーニングに広く使用されている。 しかし、差分プライバシー(DP)の追加は、ノイズとバイアスの両方を導入することでモデルの精度を低下させることが多い。 既存の手法は、DPノイズの低減がクリッピングバイアスと逆効果を悪化させるため、これらの問題の1つにのみ対処する。 本稿では,DPノイズとクリッピングバイアスを同時に緩和するために,サンプルごとの運動量と低域通過フィルタ戦略を統合する新しい手法である \emph{DP-PMLF} を提案する。 本手法では, クリッピング前のスムーズな勾配推定にサンプル当たりの運動量を用い, サンプリング分散を低減した。 さらに、後処理の低域通過フィルタを使用して、プライバシー予算を必要とせず、高周波DPノイズを減衰させる。 本研究では,厳密なDP保証の下での収束率の向上を示す理論的解析を行い,DP-PMLFはいくつかの最新DPSGDモデルと比較して,プライバシ・ユーティリティ・トレードオフを著しく向上させることを示した。

関連論文リスト

• DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction [47.65999101635902]
  差分プライベート(DP)トレーニングは、トレーニングされた機械学習モデルから収集したトレーニングデータの機密情報の漏洩を防止する。 DOPPLERと呼ばれる新しいコンポーネントを開発し、この周波数領域内のDPノイズを効果的に増幅する。 実験の結果,低域通過フィルタを用いたDPは,試験精度で3%-10%向上した。
  論文  参考訳（メタデータ） (2024-08-24T04:27:07Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。