論文の概要: DP-MacAdam: Differentially Private Mechanism with Adaptive Clipping and Adaptive Momentum

• arxiv url: http://arxiv.org/abs/2606.05435v1
• Date: Wed, 03 Jun 2026 20:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.401696
• Title: DP-MacAdam: Differentially Private Mechanism with Adaptive Clipping and Adaptive Momentum
• Title（参考訳）: DP-MacAdam:Adaptive ClippingとAdaptive Momentumを併用した個人的メカニズム
• Authors: Naima Tasnim, Lalitha Sankar, Oliver Kosut,
• Abstract要約: 個人差分勾配勾配(DP-SGD)は、プライバシ保護機械学習の標準フレームワークとなっている。 適応クリッピングと適応モーメント(DP-MacAdam)を併用した微分プライベート機構を提案する。
• 参考スコア（独自算出の注目度）: 13.705460306140004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) has become the standard framework for privacy-preserving machine learning, yet its reliance on a fixed gradient clipping threshold to limit sensitivity remains a significant practical limitation. Adaptive clipping algorithms such as AdaClip shift and scale the gradient prior to clipping and adding noise so that the clipped gradient yields a more informative descent direction. The shift and scaling parameters are selected adaptively based on the empirical mean and variance. However, in existing adaptive clipping algorithms, these empirical estimates have not been also used for momentum to accelerate training itself. On the other hand, DP-Adam is an algorithm that exploits Adam-like momentum updates based on the gradient mean and variance to accelerate training, but does not exploit these estimates for adaptive clipping. In this work, we propose Differentially Private Mechanism with Adaptive Clipping and Adaptive Momentum (DP-MacAdam), a novel algorithm that combines these two approaches so as to use the same mean and variance estimates for both clipping and momentum. We perform an analysis showing that DP-MacAdam estimates the gradient variances in a bias-free manner. In addition, we empirically evaluate the privacy and accuracy of DP-MacAdam, demonstrating that it achieves improved model utility compared to DP-SGD, AdaClip, and DP-Adam baselines, without requiring manual tuning of the clipping threshold.
• Abstract（参考訳）: 個人確率勾配勾配(DP-SGD)は、プライバシ保護機械学習の標準フレームワークとなっているが、感度を制限するための固定勾配クリッピングしきい値に依存することは、依然として重要な実用的限界である。 AdaClipのような適応的なクリッピングアルゴリズムは、クリッピング前に勾配を拡大し、ノイズを付加することにより、クリッピングされた勾配がより情報的な降下方向を得る。 シフトパラメータとスケーリングパラメータは、経験的平均と分散に基づいて適応的に選択される。 しかし、既存の適応的クリッピングアルゴリズムでは、これらの経験的推定はトレーニング自体を加速するための運動量にも使われていない。 一方、DP-Adamは、勾配平均と分散に基づいてアダム様の運動量更新を利用してトレーニングを加速するアルゴリズムであるが、適応的なクリッピングにはこれらの推定を利用しない。 そこで本研究では,これら2つの手法を組み合わせて,クリッピングと運動量の両方に対して,同じ平均値と分散推定値を使用する新しいアルゴリズムであるDP-MacAdamを提案する。 DP-MacAdamは偏りのない方法で勾配のばらつきを推定する。 さらに,DP-MacAdamのプライバシと精度を実証的に評価し,クリッピング閾値のマニュアルチューニングを必要とせず,DP-SGD,AdaClip,DP-Adamベースラインと比較してモデルの有用性の向上を実証した。

関連論文リスト

• DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models [25.94292199187493]
  フェデレートラーニング(FL)は、デバイス上のユーザデータを保持しながら、エッジデバイス全体にわたる大規模言語モデルの協調トレーニングを可能にする。 DP-SGDは、各クライアントのコントリビューションを閾値$C$にクリップし、ノイズを$C$に比例させることで、このリスクを軽減する。 DP-LACは,まず,プライベートヒストグラム推定を用いて,最適値の1桁以内の初期クリッピング閾値を推定する手法である。 実証実験の結果、DP-LACは最先端適応クリッピング法とバニラDP-SGDの両方に優れており、平均精度は6.6%である。
  論文  参考訳（メタデータ） (2026-05-11T09:32:21Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
  我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。 このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。 DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
  論文  参考訳（メタデータ） (2024-11-05T12:47:30Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。