論文の概要: DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning

• arxiv url: http://arxiv.org/abs/2511.20509v2
• Date: Fri, 28 Nov 2025 12:24:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 15:47:02.750451
• Title: DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning
• Title（参考訳）: DP-MicroAdam: トレーニングとファインチューニングのためのプライベートおよびフルーガルアルゴリズム
• Authors: Mihaela Hudişteanu, Nikita P. Kalinin, Edwige Cyffers,
• Abstract要約: 適応性は非プライベートなトレーニングにおける事実上の標準であり、より高速な収束とパフォーマンスの向上を可能にする。 対照的に、差分プライベートトレーニングは依然としてDP-SGD(典型的にはDP-SGD)で行われている。
• 参考スコア（独自算出の注目度）: 7.445350484328613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive optimizers are the de facto standard in non-private training as they often enable faster convergence and improved performance. In contrast, differentially private (DP) training is still predominantly performed with DP-SGD, typically requiring extensive compute and hyperparameter tuning. We propose DP-MicroAdam, a memory-efficient and sparsity-aware adaptive DP optimizer. We prove that DP-MicroAdam converges in stochastic non-convex optimization at the optimal $\mathcal{O}(1/\sqrt{T})$ rate, up to privacy-dependent constants. Empirically, DP-MicroAdam outperforms existing adaptive DP optimizers and achieves competitive or superior accuracy compared to DP-SGD across a range of benchmarks, including CIFAR-10, large-scale ImageNet training, and private fine-tuning of pretrained transformers. These results demonstrate that adaptive optimization can improve both performance and stability under differential privacy.
• Abstract（参考訳）: 適応オプティマイザは、非プライベートトレーニングにおける事実上の標準であり、より高速な収束とパフォーマンスの向上を可能にする。 対照的に、差分プライベート(DP)トレーニングは依然としてDP-SGDで行われている。 メモリ効率と空間性を考慮した適応型DPオプティマイザDP-MicroAdamを提案する。 DP-MicroAdamは、プライバシー依存定数まで、最適な$\mathcal{O}(1/\sqrt{T})$レートで確率的非凸最適化に収束することを示す。 実証的には、DP-MicroAdamは既存の適応DPオプティマイザよりも優れており、CIFAR-10、大規模なImageNetトレーニング、事前訓練されたトランスフォーマーのプライベート微調整など、様々なベンチマークでDP-SGDと比較して、競合的または優れた精度を達成する。 これらの結果は、適応最適化が差分プライバシー下での性能と安定性の両方を改善することを実証している。

関連論文リスト

• DP-AdamW: Investigating Decoupled Weight Decay and Bias Correction in Private Deep Learning [0.0]
  差分プライバシーは、モデルトレーニング中に情報漏洩を防止するための正式な保証を提供する。 近年の進歩は、強力な経験的パフォーマンスのため、ディープラーニングモデルをトレーニングする一般的な選択肢としてAdamWが採用されている。 DP-AdamW は DP-SGD,DP-Adam,DP-AdamBC などの既存の最先端の差分プライベートを上回り,テキスト分類では 15% 以上,画像分類では 5% 以上,グラフノード分類では 1% 以上である。
  論文  参考訳（メタデータ） (2025-11-11T05:24:30Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。