論文の概要: Adaptive Differentially Private Empirical Risk Minimization
- arxiv url: http://arxiv.org/abs/2110.07435v1
- Date: Thu, 14 Oct 2021 15:02:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-15 14:03:20.894469
- Title: Adaptive Differentially Private Empirical Risk Minimization
- Title（参考訳）: 適応的個人的リスク最小化
- Authors: Xiaoxia Wu and Lingxiao Wang and Irina Cristali and Quanquan Gu and
Rebecca Willett
- Abstract要約: 本稿では,適応的(確率的)勾配摂動法を提案する。
ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
- 参考スコア（独自算出の注目度）: 95.04948014513226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an adaptive (stochastic) gradient perturbation method for
differentially private empirical risk minimization. At each iteration, the
random noise added to the gradient is optimally adapted to the stepsize; we
name this process adaptive differentially private (ADP) learning. Given the
same privacy budget, we prove that the ADP method considerably improves the
utility guarantee compared to the standard differentially private method in
which vanilla random noise is added. Our method is particularly useful for
gradient-based algorithms with time-varying learning rates, including variants
of AdaGrad (Duchi et al., 2011). We provide extensive numerical experiments to
demonstrate the effectiveness of the proposed adaptive differentially private
algorithm.
- Abstract（参考訳）: 本稿では,適応型(統計的)勾配摂動法を提案する。
各繰り返しにおいて、勾配に付加されるランダムノイズは、ステップサイズに最適に適応し、この過程を適応微分プライベート(ADP)学習と呼ぶ。
同一のプライバシー予算を考慮すれば,バニラランダムノイズを付加する標準差分プライベート法に比べて,adp法が公益保証を大幅に改善できることを実証する。
本手法は, AdaGrad (Duchi et al., 2011) の変種を含む時間変化学習率の勾配に基づくアルゴリズムに特に有用である。
提案する適応微分プライベートアルゴリズムの有効性を示すために,広範な数値実験を行った。
関連論文リスト
- Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳（メタデータ） (2024-04-16T20:01:10Z) - DP-SGD with weight clipping [1.0878040851638]
従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。
探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
論文 参考訳（メタデータ） (2023-10-27T09:17:15Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳（メタデータ） (2022-12-01T07:26:49Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Private Adaptive Gradient Methods for Convex Optimization [32.3523019355048]
適応的なステップサイズを持つグラディエント Descent (SGD) アルゴリズムの差分プライベート変種を提案・解析する。
両アルゴリズムの後悔に関する上限を与え、その境界が最適であることを示す。
論文 参考訳（メタデータ） (2021-06-25T16:46:45Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳（メタデータ） (2021-04-09T14:50:59Z) - Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
政治政策の最適化は強化学習において難しい問題である。
オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
論文 参考訳（メタデータ） (2020-09-14T16:22:46Z) - Stochastic Adaptive Line Search for Differentially Private Optimization [6.281099620056346]
プライベート勾配に基づく最適化アルゴリズムの性能は、選択ステップサイズ(または学習率)に大きく依存する。
ノイズ勾配の信頼性に応じて、プライバシー勾配を調整する古典的非自明な行探索アルゴリズムを提案する。
適応的に選択されたステップサイズにより、提案アルゴリズムは、プライバシ予算を効率的に利用し、既存のプライベートグラデーションと競合する性能を示すことができる。
論文 参考訳（メタデータ） (2020-08-18T15:18:47Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。