論文の概要: Faster Differentially Private Convex Optimization via Second-Order Methods

• arxiv url: http://arxiv.org/abs/2305.13209v1
• Date: Mon, 22 May 2023 16:43:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 14:17:29.246125
• Title: Faster Differentially Private Convex Optimization via Second-Order Methods
• Title（参考訳）: 2次法による高速微分プライベート凸最適化
• Authors: Arun Ganesh, Mahdi Haghifam, Thomas Steinke, Abhradeep Thakurta
• Abstract要約: 微分プライベート(確率的)勾配勾配は、凸界と非凸界の両方におけるプライベート機械学習の成果である。 制約のないロジスティック回帰問題に対する実用的な2次アルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 29.610397744953577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private (stochastic) gradient descent is the workhorse of DP private machine learning in both the convex and non-convex settings. Without privacy constraints, second-order methods, like Newton's method, converge faster than first-order methods like gradient descent. In this work, we investigate the prospect of using the second-order information from the loss function to accelerate DP convex optimization. We first develop a private variant of the regularized cubic Newton method of Nesterov and Polyak, and show that for the class of strongly convex loss functions, our algorithm has quadratic convergence and achieves the optimal excess loss. We then design a practical second-order DP algorithm for the unconstrained logistic regression problem. We theoretically and empirically study the performance of our algorithm. Empirical results show our algorithm consistently achieves the best excess loss compared to other baselines and is 10-40x faster than DP-GD/DP-SGD.
• Abstract（参考訳）: 微分プライベート(確率的)勾配勾配は、凸と非凸の両方の設定におけるDPプライベート機械学習の働きである。 プライバシーの制約がなければ、ニュートンの方法のような二階法は勾配降下のような一階法よりも早く収束する。 本研究では,損失関数からの2次情報を用いてDP凸最適化を高速化する可能性を検討する。 まず、Nesterov と Polyak の正規化された立方体ニュートン法のプライベートな変種を開発し、強い凸損失関数のクラスに対して、アルゴリズムは2次収束を持ち、最適余剰損失を達成することを示す。 次に,制約のないロジスティック回帰問題に対する実用的2次dpアルゴリズムを設計する。 アルゴリズムの性能を理論的に実証的に研究する。 実験結果から,本アルゴリズムは他のベースラインに比べて常に最高の余剰損失を達成でき,DP-GD/DP-SGDの10-40倍高速であることがわかった。

関連論文リスト

• Differential Private Stochastic Optimization with Heavy-tailed Data: Towards Optimal Rates [15.27596975662702]
  重み付き勾配を用いたDP最適化の最適速度を達成するアルゴリズムについて検討する。 その結果,DP下での凸最適化の理論的限界が達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-19T11:07:05Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization [111.24899593052851]
  条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。 ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。 1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-09-18T07:08:11Z)
• Differentially Private Accelerated Optimization Algorithms [0.7874708385247353]
  微分プライベート最適化アルゴリズムの2つのクラスを示す。 最初のアルゴリズムはPolyakのヘビーボール法にインスパイアされている。 アルゴリズムの第2のクラスは、ネステロフの加速勾配法に基づいている。
  論文  参考訳（メタデータ） (2020-08-05T08:23:01Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。