論文の概要: On Differentially Private Stochastic Convex Optimization with
Heavy-tailed Data
- arxiv url: http://arxiv.org/abs/2010.11082v1
- Date: Wed, 21 Oct 2020 15:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 23:34:05.409282
- Title: On Differentially Private Stochastic Convex Optimization with
Heavy-tailed Data
- Title（参考訳）: 重み付きデータを用いた個人確率凸最適化について
- Authors: Di Wang and Hanshen Xiao and Srini Devadas and Jinhui Xu
- Abstract要約: 本稿では,重み付きデータを用いた凸最適化(SCO)のためのDPアルゴリズムの設計について考察する。
このようなデータの不規則性は、ほとんど全ての既存のDP-SCOおよびDP-ERM法で使われるいくつかの重要な仮定に反する。
我々は,データの不規則性に起因する課題に対して,アルゴリズムが効果的に対処可能であることを示す。
- 参考スコア（独自算出の注目度）: 18.351352536791453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider the problem of designing Differentially Private
(DP) algorithms for Stochastic Convex Optimization (SCO) on heavy-tailed data.
The irregularity of such data violates some key assumptions used in almost all
existing DP-SCO and DP-ERM methods, resulting in failure to provide the DP
guarantees. To better understand this type of challenges, we provide in this
paper a comprehensive study of DP-SCO under various settings. First, we
consider the case where the loss function is strongly convex and smooth. For
this case, we propose a method based on the sample-and-aggregate framework,
which has an excess population risk of $\tilde{O}(\frac{d^3}{n\epsilon^4})$
(after omitting other factors), where $n$ is the sample size and $d$ is the
dimensionality of the data. Then, we show that with some additional assumptions
on the loss functions, it is possible to reduce the \textit{expected} excess
population risk to $\tilde{O}(\frac{ d^2}{ n\epsilon^2 })$. To lift these
additional conditions, we also provide a gradient smoothing and trimming based
scheme to achieve excess population risks of $\tilde{O}(\frac{
d^2}{n\epsilon^2})$ and
$\tilde{O}(\frac{d^\frac{2}{3}}{(n\epsilon^2)^\frac{1}{3}})$ for strongly
convex and general convex loss functions, respectively, \textit{with high
probability}. Experiments suggest that our algorithms can effectively deal with
the challenges caused by data irregularity.
- Abstract（参考訳）: 本稿では,重み付きデータを用いた確率凸最適化(SCO)のためのDPアルゴリズムの設計問題について考察する。
このようなデータの不規則性は、既存のDP-SCOおよびDP-ERMメソッドで使われるいくつかの重要な仮定に反し、DP保証の提供に失敗する。
本稿では,これらの課題をより深く理解するために,様々な条件下でのDP-SCOの総合的研究について述べる。
まず,損失関数が強く凸かつ滑らかである場合を考える。
この場合、サンプル・アンド・アグリゲーション・フレームワークに基づく手法を提案する。このフレームワークは、$\tilde{o}(\frac{d^3}{n\epsilon^4})$(他の要因を省略した後)の過剰な人口リスクを持ち、$n$はサンプルサイズ、$d$はデータの次元である。
そして、損失関数にいくつかの仮定を加えると、 \textit{expected} 過剰な集団のリスクを $\tilde{O}(\frac{ d^2}{ n\epsilon^2 })$ に減らすことができる。
これらの追加条件を緩和するために、我々は、強凸および一般凸損失関数に対して、$\tilde{o}(\frac{d^2}{n\epsilon^2})$と$\tilde{o}(\frac{d^\frac{2}{3}}{(n\epsilon^2)^\frac{1}{3}})$の過剰な人口リスクを達成するための勾配平滑化およびトリミングに基づくスキームを提供する。
実験によると、我々のアルゴリズムはデータの不規則性によって引き起こされる課題を効果的に対処できる。
関連論文リスト
- Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。
我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - Corruption-Robust Offline Reinforcement Learning with General Function
Approximation [60.91257031278004]
一般関数近似を用いたオフライン強化学習(RL)における劣化問題について検討する。
我々のゴールは、崩壊しないマルコフ決定プロセス(MDP)の最適方針に関して、このような腐敗に対して堅牢で、最適でないギャップを最小限に抑える政策を見つけることである。
論文 参考訳（メタデータ） (2023-10-23T04:07:26Z) - Differentially Private Stochastic Convex Optimization in (Non)-Euclidean
Space Revisited [6.339471679859413]
ユークリッド空間における微分プライベート凸(DP-SCO)の問題を再考する。
強い有界と強い有界な損失関数の両方に対して、過剰な集団にのみ依存する()出力を達成することができる。
また、凸関数の幅が対数係数まで最適であることを示す。
論文 参考訳（メタデータ） (2023-03-31T13:29:27Z) - ReSQueing Parallel and Private Stochastic Convex Optimization [59.53297063174519]
本稿では,BFG凸最適化(SCO: Reweighted Query (ReSQue) 推定ツールを提案する。
我々はSCOの並列およびプライベート設定における最先端の複雑さを実現するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-01-01T18:51:29Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Sharper Utility Bounds for Differentially Private Models [20.246768861331276]
最初の$mathcalObig (fracsqrtpnepsilonbig)$ 高確率過剰集団リスクは、差分プライベートアルゴリズムに縛られる。
新しいアルゴリズムm-NGPは、実データセット上での差分プライベートモデルの性能を改善する。
論文 参考訳（メタデータ） (2022-04-22T07:03:13Z) - Settling the Sample Complexity of Model-Based Offline Reinforcement
Learning [50.5790774201146]
オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。
事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。
モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
論文 参考訳（メタデータ） (2022-04-11T17:26:19Z) - High Dimensional Differentially Private Stochastic Optimization with
Heavy-tailed Data [8.55881355051688]
本研究では,高次元空間における重み付きデータを用いたDP-SCOの問題に関する最初の研究を行う。
損失関数が滑らかで、その勾配が第二次モーメントに有界ならば、$epsilon$-DPモデルで$tildeO(fraclog d(nepsilon)frac13)$の(高い確率)誤差境界(過剰な集団リスク)を得ることが可能である。
論文の第2部では,重み付きデータを用いたスパース学習について検討した。
論文 参考訳（メタデータ） (2021-07-23T11:03:21Z) - Distributionally Robust Optimization with Markovian Data [8.126833795693699]
本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。
本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
論文 参考訳（メタデータ） (2021-06-12T10:59:02Z) - Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。
私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
論文 参考訳（メタデータ） (2021-03-01T19:48:44Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。