論文の概要: Differentially Private Adaptive Optimization with Delayed Preconditioners

• arxiv url: http://arxiv.org/abs/2212.00309v2
• Date: Wed, 7 Jun 2023 20:22:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 20:11:06.617246
• Title: Differentially Private Adaptive Optimization with Delayed Preconditioners
• Title（参考訳）: 遅延プリコンディショナによる微分プライベート適応最適化
• Authors: Tian Li, Manzil Zaheer, Ken Ziyu Liu, Sashank J. Reddi, H. Brendan McMahan, Virginia Smith
• Abstract要約: 補助データのないトレーニングにおいて適応幾何学を推定する手法を探索する。 適応的手法が古いプレコンディショナーを許容できるという観察に感銘を受けて、我々は微分適応型プライベートトレーニングを提案する。 実験的にDP2を探索し、非適応ベースラインに対して最大4倍の収束速度を向上できることを実証した。
• 参考スコア（独自算出の注目度）: 44.190582378775694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy noise may negate the benefits of using adaptive optimizers in differentially private model training. Prior works typically address this issue by using auxiliary information (e.g., public data) to boost the effectiveness of adaptive optimization. In this work, we explore techniques to estimate and efficiently adapt to gradient geometry in private adaptive optimization without auxiliary data. Motivated by the observation that adaptive methods can tolerate stale preconditioners, we propose differentially private adaptive training with delayed preconditioners (DP^2), a simple method that constructs delayed but less noisy preconditioners to better realize the benefits of adaptivity. Theoretically, we provide convergence guarantees for our method for both convex and non-convex problems, and analyze trade-offs between delay and privacy noise reduction. Empirically, we explore DP^2 across several real-world datasets, demonstrating that it can improve convergence speed by as much as 4x relative to non-adaptive baselines and match the performance of state-of-the-art optimization methods that require auxiliary data.
• Abstract（参考訳）: プライバシノイズは、微分プライベートモデルトレーニングで適応最適化器を使用することの利点を否定する可能性がある。 従来の研究は、適応最適化の有効性を高めるために補助情報(例えば、公開データ)を使用することでこの問題に対処する。 本研究では,補助データを用いずに個人適応最適化において,勾配幾何を推定し,効率的に適応する手法について検討する。 そこで本研究では,遅延プリコンディショナー(dp^2)を用いた,適応型プリコンディショナーの適応性を高めるための簡易な手法として,適応型プリコンディショナー(dp^2)を提案する。 理論的には、凸問題と非凸問題の両方に対する収束保証を提供し、遅延とプライバシノイズ低減のトレードオフを分析する。 実世界の複数のデータセットにまたがってdp^2を探索し,非適応ベースラインと比較して収束速度を最大4倍向上し,補助データを必要とする最先端最適化手法の性能に適合できることを実証した。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Adaptive Bayesian Optimization for High-Precision Motion Systems [2.073673208115137]
  低レベル制御パラメータをオンラインチューニングすることで、適応制御のためのリアルタイム純粋データ駆動モデルフリーアプローチを提案する。 我々は安全かつサンプル効率のよいベイズ最適化アルゴリズムであるGoOSEをベースとした。 半導体産業に応用した実精度運動システムにおけるアルゴリズムの性能評価を行った。
  論文  参考訳（メタデータ） (2024-04-22T21:58:23Z)
• Online Sensitivity Optimization in Differentially Private Learning [8.12606646175019]
  クリッピング閾値を動的に最適化する新しい手法を提案する。 我々は、このしきい値を学習可能なパラメータとして扱い、しきい値とコスト関数のクリーンな関係を確立する。 提案手法は, 多様なデータセット, タスク, モデル次元, プライバシレベルにまたがる代替的かつ適応的な戦略に対して, 徹底的に評価される。
  論文  参考訳（メタデータ） (2023-10-02T00:30:49Z)
• Adaptive Gradient Methods with Local Guarantees [48.980206926987606]
  本稿では,最良局所前提条件に対する適応的後悔保証を証明可能な適応的勾配法を提案する。 視覚領域や言語領域で人気のあるベンチマークタスクに対して,最適な学習率スケジュールを自動的に選択する上で,本手法の堅牢性を示す。
  論文  参考訳（メタデータ） (2022-03-02T20:45:14Z)
• Private Adaptive Optimization with Side Information [48.91141546624768]
  AdaDPSは、非感度側情報を用いて勾配を前提とした一般的なフレームワークである。 AdaDPSは、同様のプライバシー保証を達成するのに必要なノイズを減らす。 以上の結果から,AdaDPSの精度は平均7.7%向上した。
  論文  参考訳（メタデータ） (2022-02-12T03:02:06Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• Adaptive Gradient Methods for Constrained Convex Optimization and Variational Inequalities [32.51470158863247]
  AdaACSAとAdaAGD+は制約付き凸最適化の高速化手法である。 我々はこれらを、同じ特徴を享受し、標準の非加速収束率を達成する、より単純なアルゴリズムAdaGrad+で補完する。
  論文  参考訳（メタデータ） (2020-07-17T09:10:21Z)
• Bilevel Optimization for Differentially Private Optimization in Energy Systems [53.806512366696275]
  本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。 本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
  論文  参考訳（メタデータ） (2020-01-26T20:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。