論文の概要: Differentially Private Stochastic Convex Optimization in (Non)-Euclidean Space Revisited

• arxiv url: http://arxiv.org/abs/2303.18047v1
• Date: Fri, 31 Mar 2023 13:29:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 13:55:09.724117
• Title: Differentially Private Stochastic Convex Optimization in (Non)-Euclidean Space Revisited
• Title（参考訳）: 非)ユークリッド空間再訪における微分プライベート確率凸最適化
• Authors: Jinyan Su and Changhong Zhao and Di Wang
• Abstract要約: ユークリッド空間における微分プライベート凸(DP-SCO)の問題を再考する。 強い有界と強い有界な損失関数の両方に対して、過剰な集団にのみ依存する()出力を達成することができる。 また、凸関数の幅が対数係数まで最適であることを示す。
• 参考スコア（独自算出の注目度）: 6.339471679859413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we revisit the problem of Differentially Private Stochastic Convex Optimization (DP-SCO) in Euclidean and general $\ell_p^d$ spaces. Specifically, we focus on three settings that are still far from well understood: (1) DP-SCO over a constrained and bounded (convex) set in Euclidean space; (2) unconstrained DP-SCO in $\ell_p^d$ space; (3) DP-SCO with heavy-tailed data over a constrained and bounded set in $\ell_p^d$ space. For problem (1), for both convex and strongly convex loss functions, we propose methods whose outputs could achieve (expected) excess population risks that are only dependent on the Gaussian width of the constraint set rather than the dimension of the space. Moreover, we also show the bound for strongly convex functions is optimal up to a logarithmic factor. For problems (2) and (3), we propose several novel algorithms and provide the first theoretical results for both cases when $1<p<2$ and $2\leq p\leq \infty$.
• Abstract（参考訳）: 本稿では、ユークリッド空間における微分プライベート確率凸最適化(dp-sco)と一般の$\ell_p^d$空間の問題を再検討する。 具体的には、(1)ユークリッド空間における制約付き(有界)集合上のDP-SCO、(2)$\ell_p^d$空間における非制約付きDP-SCO、(3)$\ell_p^d$空間における制約付きおよび有界な集合上の重み付きデータに対するDP-SCOである。 問題(1)には,凸関数と強凸損失関数の両方について,空間の次元よりも制約集合のガウス幅にのみ依存する過剰な集団リスクをアウトプットが達成できる手法を提案する。 さらに、強凸関数の束縛は対数係数まで最適であることを示した。 問題 (2) と (3) については、いくつかの新しいアルゴリズムを提案し、1<p<2$ と 2\leq p\leq \infty$ の両ケースで最初の理論的結果を提供する。

関連論文リスト

• Obtaining Lower Query Complexities through Lightweight Zeroth-Order Proximal Gradient Algorithms [65.42376001308064]
  複素勾配問題に対する2つの分散化ZO推定器を提案する。 我々は、現在最先端の機能複雑性を$mathcalOleft(minfracdn1/2epsilon2, fracdepsilon3right)$から$tildecalOleft(fracdepsilon2right)$に改善する。
  論文  参考訳（メタデータ） (2024-10-03T15:04:01Z)
• Cubic regularized subspace Newton for non-convex optimization [3.481985817302898]
  我々は、ランダムな部分空間に定常正規化を適用すると解釈できる座標二階SSCNを解析する。 従来の一階法と比較して,大幅な高速化を示した。
  論文  参考訳（メタデータ） (2024-06-24T14:20:02Z)
• Nearly Optimal Regret for Decentralized Online Convex Optimization [53.433398074919]
  分散オンライン凸最適化(D-OCO)は,局所計算と通信のみを用いて,グローバルな損失関数の列を最小化することを目的としている。 我々は凸関数と強い凸関数の残差をそれぞれ低減できる新しいD-OCOアルゴリズムを開発した。 我々のアルゴリズムは、$T$、$n$、$rho$の点でほぼ最適です。
  論文  参考訳（メタデータ） (2024-02-14T13:44:16Z)
• Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate [83.3933097134767]
  次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。 提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
  論文  参考訳（メタデータ） (2024-01-05T20:24:18Z)
• A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization [53.044526424637866]
  本稿では、2つの異なる対象の一般円錐最適化を最小化する近似二階定常点(SOSP)について検討する。 特に、近似SOSPを見つけるためのNewton-CGベースの拡張共役法を提案する。
  論文  参考訳（メタデータ） (2023-01-10T20:43:29Z)
• ReSQueing Parallel and Private Stochastic Convex Optimization [59.53297063174519]
  本稿では,BFG凸最適化(SCO: Reweighted Query (ReSQue) 推定ツールを提案する。 我々はSCOの並列およびプライベート設定における最先端の複雑さを実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-01T18:51:29Z)
• Private Convex Optimization in General Norms [23.166642097170545]
  任意のノルム$normxcdot$におけるリプシッツである凸関数の微分プライベート最適化のための新しいフレームワークを提案する。 本稿では,このメカニズムが差分プライバシーを満足し,DP-ERM(経験的リスク最小化)とDP-SCO(確率的凸最適化)の両方を解決することを示す。 我々のフレームワークは、一般ノルム空間におけるプライベート凸最適化に初めて適用され、ミラー降下によって達成された非プライベートSCOレートを直接回復する。
  論文  参考訳（メタデータ） (2022-07-18T02:02:22Z)
• Towards Painless Policy Optimization for Constrained MDPs [46.12526917024248]
  我々は、無限の地平線における政策最適化、$gamma$-discounted constrained Markov decision process (CMDP)について研究する。 我々の目標は、小さな制約違反で大きな期待された報酬を達成する政策を返却することである。 本稿では,任意のアルゴリズムに対して,報酬の準最適性と制約違反を拘束できる汎用的原始双対フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:08:09Z)
• Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry [69.24618367447101]
  対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。 損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
  論文  参考訳（メタデータ） (2021-03-02T06:53:44Z)
• Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
  雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。 私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
  論文  参考訳（メタデータ） (2021-03-01T19:48:44Z)
• On Differentially Private Stochastic Convex Optimization with Heavy-tailed Data [18.351352536791453]
  本稿では,重み付きデータを用いた凸最適化(SCO)のためのDPアルゴリズムの設計について考察する。 このようなデータの不規則性は、ほとんど全ての既存のDP-SCOおよびDP-ERM法で使われるいくつかの重要な仮定に反する。 我々は,データの不規則性に起因する課題に対して,アルゴリズムが効果的に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-21T15:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。