論文の概要: On Design Principles for Private Adaptive Optimizers

• arxiv url: http://arxiv.org/abs/2507.01129v1
• Date: Tue, 01 Jul 2025 18:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.861011
• Title: On Design Principles for Private Adaptive Optimizers
• Title（参考訳）: プライベート・アダプティブ・オプティマイザの設計原理について
• Authors: Arun Ganesh, Brendan McMahan, Abhradeep Thakurta,
• Abstract要約: ディファレンシャル・プライベート(DP)トレーニングにおける勾配に付加される球形ノイズは、AdaやAdamのような適応性の性能を損なう。 近年の研究ではこの問題に対処するアルゴリズムが提案されている。
• 参考スコア（独自算出の注目度）: 11.368374833874313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The spherical noise added to gradients in differentially private (DP) training undermines the performance of adaptive optimizers like AdaGrad and Adam, and hence many recent works have proposed algorithms to address this challenge. However, the empirical results in these works focus on simple tasks and models and the conclusions may not generalize to model training in practice. In this paper we survey several of these variants, and develop better theoretical intuition for them as well as perform empirical studies comparing them. We find that a common intuition of aiming for unbiased estimates of second moments of gradients in adaptive optimizers is misguided, and instead that a simple technique called scale-then-privatize (which does not achieve unbiased second moments) has more desirable theoretical behaviors and outperforms all other variants we study on a small-scale language model training task. We additionally argue that scale-then-privatize causes the noise addition to better match the application of correlated noise mechanisms which are more desirable to use in practice.
• Abstract（参考訳）: 微分プライベート(DP)トレーニングの勾配に付加される球面ノイズは、AdaGradやAdamのような適応最適化器の性能を損なうため、近年の多くの研究でこの問題に対処するためのアルゴリズムが提案されている。 しかし、これらの研究における経験的な結果は、単純なタスクやモデルに焦点を当てており、結論は実際にモデルトレーニングに一般化できないかもしれない。 本稿では,これらの変種をいくつか調査し,それらの理論的直観を改良し,比較実験を行った。 適応オプティマイザにおける2次勾配の非バイアス推定を目標とする一般的な直観は誤用され、代わりにスケール・テン・プライベートズと呼ばれる単純な手法がより望ましい理論的振る舞いを持ち、より小規模の言語モデルトレーニングタスクで研究している他のすべての変種よりも優れていることが判明した。 また,実使用が望ましい相関ノイズ機構の適用により,音の付加による雑音の低減が促進されることを論じる。

関連論文リスト

• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Optimizing Adaptive Experiments: A Unified Approach to Regret Minimization and Best-Arm Identification [9.030753181146176]
  実験内性能と実験後の成果を同時に考慮した統一モデルを提案する。 実験期間の大幅な短縮は、実験内および実験後の後悔の両方に最小限の影響を伴って達成できることが示されている。
  論文  参考訳（メタデータ） (2024-02-16T11:27:48Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Empirical Study on Optimizer Selection for Out-of-Distribution Generalization [16.386766049451317]
  現代のディープラーニングシステムは、テストデータ分布がトレーニングデータ分布とわずかに異なる場合、うまく一般化しない。 本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
  論文  参考訳（メタデータ） (2022-11-15T23:56:30Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• AdaTerm: Adaptive T-Distribution Estimated Robust Moments for Noise-Robust Stochastic Gradient Optimization [14.531550983885772]
  本稿では,学生のt分布を取り入れた新しいアプローチであるAdaTermを提案する。 これは最適化プロセスの統一的な処理を提供し、初めてt分布の統計モデルの下で包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-01-18T03:13:19Z)
• Adaptive Optimization with Examplewise Gradients [23.504973357538418]
  本稿では,機械学習のための勾配に基づく最適化手法の設計に対して,より汎用的なアプローチを提案する。 この新しいフレームワークでは、イテレーションは単一の見積もりではなく、パラメータごとの見積もりのバッチへのアクセスを前提としています。 これは、典型的な機械学習のセットアップで実際に利用できる情報を反映している。
  論文  参考訳（メタデータ） (2021-11-30T23:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。