論文の概要: DP-AdamW: Investigating Decoupled Weight Decay and Bias Correction in Private Deep Learning

• arxiv url: http://arxiv.org/abs/2511.07843v1
• Date: Wed, 12 Nov 2025 01:23:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.504767
• Title: DP-AdamW: Investigating Decoupled Weight Decay and Bias Correction in Private Deep Learning
• Title（参考訳）: DP-AdamW:Decoupled Weight Decay and Bias Correction in Private Deep Learning
• Authors: Jay Chooi, Kevin Cong, Russell Li, Lillian Sun,
• Abstract要約: 差分プライバシーは、モデルトレーニング中に情報漏洩を防止するための正式な保証を提供する。 近年の進歩は、強力な経験的パフォーマンスのため、ディープラーニングモデルをトレーニングする一般的な選択肢としてAdamWが採用されている。 DP-AdamW は DP-SGD,DP-Adam,DP-AdamBC などの既存の最先端の差分プライベートを上回り,テキスト分類では 15% 以上,画像分類では 5% 以上,グラフノード分類では 1% 以上である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As deep learning methods increasingly utilize sensitive data on a widespread scale, differential privacy (DP) offers formal guarantees to protect against information leakage during model training. A significant challenge remains in implementing DP optimizers that retain strong performance while preserving privacy. Recent advances introduced ever more efficient optimizers, with AdamW being a popular choice for training deep learning models because of strong empirical performance. We study \emph{DP-AdamW} and introduce \emph{DP-AdamW-BC}, a differentially private variant of the AdamW optimizer with DP bias correction for the second moment estimator. We start by showing theoretical results for privacy and convergence guarantees of DP-AdamW and DP-AdamW-BC. Then, we empirically analyze the behavior of both optimizers across multiple privacy budgets ($ε= 1, 3, 7$). We find that DP-AdamW outperforms existing state-of-the-art differentially private optimizers like DP-SGD, DP-Adam, and DP-AdamBC, scoring over 15\% higher on text classification, up to 5\% higher on image classification, and consistently 1\% higher on graph node classification. Moreover, we empirically show that incorporating bias correction in DP-AdamW (DP-AdamW-BC) consistently decreases accuracy, in contrast to the improvement of DP-AdamBC improvement over DP-Adam.
• Abstract（参考訳）: ディープラーニングの手法が広範にセンシティブなデータを活用しているため、差分プライバシー(DP)は、モデルトレーニング中に情報漏洩を防止するための正式な保証を提供する。 プライバシーを維持しながら高いパフォーマンスを維持するDPオプティマイザの実装には、大きな課題が残っている。 近年の進歩は、より効率的なオプティマイザを導入し、AdamWは、強力な経験的パフォーマンスのためにディープラーニングモデルをトレーニングする一般的な選択肢である。 本稿では,第2モーメント推定器のDPバイアス補正を伴うAdamWオプティマイザの微分プライベートな変種である \emph{DP-AdamW-BC} について検討する。 まず、DP-AdamWとDP-AdamW-BCのプライバシーと収束保証に関する理論的結果を示す。 次に、複数のプライバシー予算(ε= 1, 3, 7$)にわたって、両方のオプティマイザの挙動を実証的に分析する。 DP-AdamWは、DP-SGD、DP-Adam、DP-AdamBCのような既存の最先端の個人最適化よりも優れており、テキスト分類では15倍、画像分類では最大5倍、グラフノード分類では一貫して1倍である。 さらに,DP-AdamW (DP-AdamW-BC) にバイアス補正を組み込むことで,DP-AdamBCの改善に対してDP-AdamW (DP-AdamW-BC) が常に精度を低下させることを示す。

関連論文リスト

• DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction [47.65999101635902]
  差分プライベート(DP)トレーニングは、トレーニングされた機械学習モデルから収集したトレーニングデータの機密情報の漏洩を防止する。 DOPPLERと呼ばれる新しいコンポーネントを開発し、この周波数領域内のDPノイズを効果的に増幅する。 実験の結果,低域通過フィルタを用いたDPは,試験精度で3%-10%向上した。
  論文  参考訳（メタデータ） (2024-08-24T04:27:07Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• DP-AdamBC: Your DP-Adam Is Actually DP-SGD (Unless You Apply Bias Correction) [0.0]
  本稿では,第2モーメント推定におけるバイアスを除去し,Adamの期待挙動を検索する最適化アルゴリズムDP-AdamBCを提案する。 DP-AdamBCは、画像、テキスト、グラフノードの分類タスクにおいて、DP-Adamの最適化性能を3.5%向上させる。
  論文  参考訳（メタデータ） (2023-12-21T23:42:00Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• DP-Adam: Correcting DP Bias in Adam's Second Moment Estimation [0.0]
  我々は,AdamによるDPの従来の利用は,勾配計算における独立雑音の追加により,第2モーメント推定においてバイアスが発生することを観察した。 このバイアスは、非プライベートなAdamの振る舞いやAdamのサイン降下解釈と矛盾する低分散パラメータ更新のための異なるスケーリングにつながる。
  論文  参考訳（メタデータ） (2023-04-21T18:43:37Z)
• Differentially Private Diffusion Models [46.46256537222917]
  我々は近年の拡散モデル(DM)の成功の上に構築され、微分プライベート拡散モデル(DPDM)を導入している。 DMのトレーニングに適したDP-SGDの強力な修正であるノイズ多重性を提案する。 我々は,新しいDPDMを画像生成ベンチマークで検証し,すべての実験で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-18T15:20:47Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
  DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。 われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
  論文  参考訳（メタデータ） (2021-12-29T07:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。