論文の概要: DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models

• arxiv url: http://arxiv.org/abs/2602.19945v1
• Date: Mon, 23 Feb 2026 15:15:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.875634
• Title: DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models
• Title（参考訳）: DP-FedAdamW: 微分プライベート大規模モデルの効率的な最適化
• Authors: Jin Liu, Yinbin Miao, Ning Xi, Junkang Liu,
• Abstract要約: 我々は,AdamWをベースとした差分プライバシ適合方式DPFedAdamWを提案する。 DP下でのAdamWの回復は、第2モーメントの分散を安定化し、DP誘起バイアスを除去し、クライアントのドリフトを抑えるためにグローバルな降下を局所的に更新する。 実験の結果,DPFedAdamWが言語と視覚にまたがるトランスフォーマーとResNet-18の有効性を示した。
• 参考スコア（独自算出の注目度）: 14.755143405057929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Balancing convergence efficiency and robustness under Differential Privacy (DP) is a central challenge in Federated Learning (FL). While AdamW accelerates training and fine-tuning in large-scale models, we find that directly applying it to Differentially Private FL (DPFL) suffers from three major issues: (i) data heterogeneity and privacy noise jointly amplify the variance of second-moment estimator, (ii) DP perturbations bias the second-moment estimator, and (iii) DP amplify AdamW sensitivity to local overfitting, worsening client drift. We propose DP-FedAdamW, the first AdamW-based optimizer for DPFL. It restores AdamW under DP by stabilizing second-moment variance, removing DP-induced bias, and aligning local updates to the global descent to curb client drift. Theoretically, we establish an unbiased second-moment estimator and prove a linearly accelerated convergence rate without any heterogeneity assumption, while providing tighter $(\varepsilon,δ)$-DP guarantees. Our empirical results demonstrate the effectiveness of DP-FedAdamW across language and vision Transformers and ResNet-18. On Tiny-ImageNet (Swin-Base, $\varepsilon=1$), DP-FedAdamW outperforms the state-of-the-art (SOTA) by 5.83\%. The code is available in Appendix.
• Abstract（参考訳）: 差分プライバシー(DP)の下での収束効率と堅牢性のバランスをとることは、連邦学習(FL)における中心的な課題である。 AdamWは大規模モデルのトレーニングと微調整を加速するが、それをDPFL(差分的プライベートFL)に直接適用するには3つの大きな問題がある。 一 第二モーメント推定器の分散を増幅するデータ不均一性及びプライバシー騒音 (二)DP摂動は第二モーメント推定器に偏り、 (iii)DPはAdamW感度を局所的なオーバーフィッティングに増幅し、クライアントのドリフトを悪化させる。 本稿では,DPFLのためのAdamWベースのオプティマイザであるDP-FedAdamWを提案する。 DP下でのAdamWの回復は、第2モーメントの分散を安定化し、DP誘起バイアスを除去し、クライアントのドリフトを抑えるためにグローバルな降下を局所的に更新する。 理論的には、偏りのない第二モーメント推定器を確立し、不均一性を仮定せずに線形に加速される収束率を証明し、より厳密な$(\varepsilon,δ)$-DP保証を提供する。 実験の結果,DP-FedAdamWが言語と視覚にまたがるトランスフォーマーとResNet-18の有効性が示された。 Tiny-ImageNet (Swin-Base, $\varepsilon=1$)では、DP-FedAdamWは最先端(SOTA)を5.83\%上回っている。 コードはAppendixで入手できる。

関連論文リスト

• DP-AdamW: Investigating Decoupled Weight Decay and Bias Correction in Private Deep Learning [0.0]
  差分プライバシーは、モデルトレーニング中に情報漏洩を防止するための正式な保証を提供する。 近年の進歩は、強力な経験的パフォーマンスのため、ディープラーニングモデルをトレーニングする一般的な選択肢としてAdamWが採用されている。 DP-AdamW は DP-SGD,DP-Adam,DP-AdamBC などの既存の最先端の差分プライベートを上回り,テキスト分類では 15% 以上,画像分類では 5% 以上,グラフノード分類では 1% 以上である。
  論文  参考訳（メタデータ） (2025-11-11T05:24:30Z)
• Accelerating Differentially Private Federated Learning via Adaptive Extrapolation [2.6108066206600555]
  ローカル更新の多様性に基づいてグローバルステップサイズを適応的に選択するDP-FedEXPを提案する。 DP-FedEXPはDP-FedAvgの収束を良好に促進し,DP-FLに適した既存手法よりも経験的に優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-14T03:43:27Z)
• DP-AdamBC: Your DP-Adam Is Actually DP-SGD (Unless You Apply Bias Correction) [0.0]
  本稿では,第2モーメント推定におけるバイアスを除去し,Adamの期待挙動を検索する最適化アルゴリズムDP-AdamBCを提案する。 DP-AdamBCは、画像、テキスト、グラフノードの分類タスクにおいて、DP-Adamの最適化性能を3.5%向上させる。
  論文  参考訳（メタデータ） (2023-12-21T23:42:00Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• DP-Adam: Correcting DP Bias in Adam's Second Moment Estimation [0.0]
  我々は,AdamによるDPの従来の利用は,勾配計算における独立雑音の追加により,第2モーメント推定においてバイアスが発生することを観察した。 このバイアスは、非プライベートなAdamの振る舞いやAdamのサイン降下解釈と矛盾する低分散パラメータ更新のための異なるスケーリングにつながる。
  論文  参考訳（メタデータ） (2023-04-21T18:43:37Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
  DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。 われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
  論文  参考訳（メタデータ） (2021-12-29T07:32:29Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。