論文の概要: Private Adaptive Gradient Methods for Convex Optimization

• arxiv url: http://arxiv.org/abs/2106.13756v1
• Date: Fri, 25 Jun 2021 16:46:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-28 13:13:09.197868
• Title: Private Adaptive Gradient Methods for Convex Optimization
• Title（参考訳）: 凸最適化のためのプライベート適応勾配法
• Authors: Hilal Asi, John Duchi, Alireza Fallah, Omid Javidbakht, Kunal Talwar
• Abstract要約: 適応的なステップサイズを持つグラディエント Descent (SGD) アルゴリズムの差分プライベート変種を提案・解析する。 両アルゴリズムの後悔に関する上限を与え、その境界が最適であることを示す。
• 参考スコア（独自算出の注目度）: 32.3523019355048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study adaptive methods for differentially private convex optimization, proposing and analyzing differentially private variants of a Stochastic Gradient Descent (SGD) algorithm with adaptive stepsizes, as well as the AdaGrad algorithm. We provide upper bounds on the regret of both algorithms and show that the bounds are (worst-case) optimal. As a consequence of our development, we show that our private versions of AdaGrad outperform adaptive SGD, which in turn outperforms traditional SGD in scenarios with non-isotropic gradients where (non-private) Adagrad provably outperforms SGD. The major challenge is that the isotropic noise typically added for privacy dominates the signal in gradient geometry for high-dimensional problems; approaches to this that effectively optimize over lower-dimensional subspaces simply ignore the actual problems that varying gradient geometries introduce. In contrast, we study non-isotropic clipping and noise addition, developing a principled theoretical approach; the consequent procedures also enjoy significantly stronger empirical performance than prior approaches.
• Abstract（参考訳）: 適応ステップを持つ確率勾配降下 (sgd) アルゴリズムの微分プライベート変種の提案と解析, 微分プライベート凸最適化のための適応手法とアダグラードアルゴリズムについて検討した。 我々は,両アルゴリズムの後悔の上限を与え,その限界が(最悪の場合)最適であることを示す。 その結果,AdaGradのプライベートバージョンは適応性SGDより優れており,AdagradがSGDより優れていることを示す非等方勾配のシナリオでは従来のSGDより優れていた。 主な課題は、一般にプライバシーのために付加される等方性雑音が高次元問題に対する勾配幾何学の信号を支配していることである。 対照的に,非等方性クリッピングとノイズ付加について研究し,原理的理論的アプローチを考案した。

関連論文リスト

• Convergence Analysis of Adaptive Gradient Methods under Refined Smoothness and Noise Assumptions [18.47705532817026]
  AdaGradは特定の条件下では$d$でSGDより優れていることを示す。 これを動機として、目的物の滑らかさ構造と勾配のばらつきを仮定する。
  論文  参考訳（メタデータ） (2024-06-07T02:55:57Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Adaptive Proximal Gradient Method for Convex Optimization [18.681222155879656]
  凸最適化における2つの基本的な一階法、すなわち勾配降下法(GD)と近位勾配法(ProxGD)について検討する。 我々の焦点は、スムーズな関数の局所曲率情報を活用することによって、これらのアルゴリズムを完全に適応させることである。 本稿では,GD と ProxGD の適応バージョンを提案する。
  論文  参考訳（メタデータ） (2023-08-04T11:37:08Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• On the SDEs and Scaling Rules for Adaptive Gradient Algorithms [45.007261870784475]
  微分方程式(SDE)としての勾配 Descent (SGD) の適用により、研究者は連続的な最適化軌道の研究の利点を享受できるようになった。 本稿では、RMSpropとAdamのSDE近似を導出し、理論上の正確性を保証するとともに、それらの適用性を検証する。
  論文  参考訳（メタデータ） (2022-05-20T16:39:03Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。