論文の概要: Output Perturbation for Differentially Private Convex Optimization with
Improved Population Loss Bounds, Runtimes and Applications to Private
Adversarial Training
- arxiv url: http://arxiv.org/abs/2102.04704v1
- Date: Tue, 9 Feb 2021 08:47:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-10 15:09:31.968173
- Title: Output Perturbation for Differentially Private Convex Optimization with
Improved Population Loss Bounds, Runtimes and Applications to Private
Adversarial Training
- Title（参考訳）: 人口減少境界の改善によるプライベート・コンベックス最適化のための出力摂動とプライベート・アドバーサリー・トレーニングへの応用
- Authors: Andrew Lowy and Meisam Razaviyayn
- Abstract要約: 強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。
我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。
我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
- 参考スコア（独自算出の注目度）: 12.386462516398469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finding efficient, easily implementable differentially private (DP)
algorithms that offer strong excess risk bounds is an important problem in
modern machine learning. To date, most work has focused on private empirical
risk minimization (ERM) or private population loss minimization. However, there
are often other objectives--such as fairness, adversarial robustness, or
sensitivity to outliers--besides average performance that are not captured in
the classical ERM setup. To this end, we study a completely general family of
convex, Lipschitz loss functions and establish the first known DP excess risk
and runtime bounds for optimizing this broad class. We provide similar bounds
under additional assumptions of smoothness and/or strong convexity. We also
address private stochastic convex optimization (SCO). While $(\epsilon,
\delta)$-DP ($\delta > 0$) has been the focus of much recent work in private
SCO, proving tight population loss bounds and runtime bounds for $(\epsilon,
0)$-DP remains a challenging open problem. We provide the tightest known
$(\epsilon, 0)$-DP population loss bounds and fastest runtimes under the
presence of (or lack of) smoothness and strong convexity. Our methods extend to
the $\delta > 0$ setting, where we offer the unique benefit of ensuring
differential privacy for arbitrary $\epsilon > 0$ by incorporating a new form
of Gaussian noise. Finally, we apply our theory to two learning frameworks:
tilted ERM and adversarial learning. In particular, our theory quantifies
tradeoffs between adversarial robustness, privacy, and runtime. Our results are
achieved using perhaps the simplest DP algorithm: output perturbation. Although
this method is not novel conceptually, our novel implementation scheme and
analysis show that the power of this method to achieve strong privacy, utility,
and runtime guarantees has not been fully appreciated in prior works.
- Abstract（参考訳）: 強力な過剰リスク境界を提供する効率的で容易に実装可能な微分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。
これまで、ほとんどの研究は、プライベートな経験的リスク最小化(ERM)やプライベートな人口減少最小化に重点を置いてきた。
しかし、古典的なERM設定では捉えられない平均的なパフォーマンス以外に、フェアネス、敵対的ロバストネス、またはアウトレイアに対する感受性など、他の目的もある。
この目的のために、完全一般凸、リプシッツ損失関数の研究を行い、この広いクラスを最適化するための最初のDP過剰リスクと実行時境界を確立する。
滑らかさおよび/または強い凸性の付加的な仮定の下で同様の境界を提供します。
また,sco (private stochastic convex optimization) についても述べる。
$(\epsilon, \delta)$-DP ($\delta > 0$) は、プライベートSCOにおける最近の作業の焦点であり、人口減少の限界とランタイム境界を $(\epsilon, 0)$-DP で証明することは、依然として困難なオープン問題である。
私たちは最も厳しい既知の$(\epsilon, 0)$-DP人口減少境界と最速のランタイムを提供し、滑らかさ(または不足)と強い凸性の存在下で提供します。
我々の方法は$\delta > 0$設定に拡張され、新しい形のガウスノイズを組み込むことで任意の$\epsilon > 0$に対して微分プライバシーを保証するユニークな利点を提供する。
最後に、我々の理論を2つの学習フレームワーク、傾きERMと逆学習に適用する。
特に、私たちの理論は、敵対的堅牢性、プライバシー、ランタイム間のトレードオフを定量化します。
我々の結果はおそらく最も単純なDPアルゴリズムである出力摂動を用いて達成される。
この手法は概念上は目新しいものではないが,提案手法による強力なプライバシ,ユーティリティ,ランタイム保証を実現する能力は,先行研究において十分に評価されていないことを示す。
関連論文リスト
- Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。
トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。
証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
論文 参考訳（メタデータ） (2025-02-19T07:10:32Z) - Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。
微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。
これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
論文 参考訳（メタデータ） (2025-02-13T02:05:45Z) - The Cost of Shuffling in Private Gradient Based Optimization [40.31928071333575]
その結果, DP-ShuffleGはDP-SGDと比較して, データのシャッフル処理により過大なリスクが生じることがわかった。
我々は、プライベートな最適化に公開データサンプルを統合するハイブリッドアプローチである textitInterleaved-ShuffleG を提案する。
論文 参考訳（メタデータ） (2025-02-05T22:30:00Z) - Optimized Tradeoffs for Private Prediction with Majority Ensembling [59.99331405291337]
本稿では,データ依存型ランダム化応答行列(DaRRM)アルゴリズムを提案する。
DaRRMはデータ依存ノイズ関数$gamma$でパラメータ化され、全てのプライベートアルゴリズムのクラスに対して効率的なユーティリティ最適化を可能にする。
本稿では,DARRMが共通ベースラインよりも2倍のプライバシゲインを,固定ユーティリティで確実に享受していることを示す。
論文 参考訳（メタデータ） (2024-11-27T00:48:48Z) - Private Online Prediction from Experts: Separations and Faster Rates [74.52487417350221]
専門家によるオンライン予測は機械学習の基本的な問題であり、いくつかの研究がプライバシーの制約の下でこの問題を研究している。
本研究では,非適応的敵に対する最良な既存アルゴリズムの残差を克服する新たなアルゴリズムを提案し,解析する。
論文 参考訳（メタデータ） (2022-10-24T18:40:19Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。
私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
論文 参考訳（メタデータ） (2021-03-01T19:48:44Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳（メタデータ） (2021-02-23T18:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。