論文の概要: Differentially Private Coordinate Descent for Composite Empirical Risk
Minimization
- arxiv url: http://arxiv.org/abs/2110.11688v1
- Date: Fri, 22 Oct 2021 10:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-25 14:37:51.879296
- Title: Differentially Private Coordinate Descent for Composite Empirical Risk
Minimization
- Title(参考訳): 複合的経験的リスク最小化のための微分プライベート座標降下
- Authors: Paul Mangold, Aur\'elien Bellet, Joseph Salmon, Marc Tommasi
- Abstract要約: 機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。
Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。
差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
- 参考スコア(独自算出の注目度): 13.742100810492014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models can leak information about the data used to train
them. Differentially Private (DP) variants of optimization algorithms like
Stochastic Gradient Descent (DP-SGD) have been designed to mitigate this,
inducing a trade-off between privacy and utility. In this paper, we propose a
new method for composite Differentially Private Empirical Risk Minimization
(DP-ERM): Differentially Private proximal Coordinate Descent (DP-CD). We
analyze its utility through a novel theoretical analysis of inexact coordinate
descent, and highlight some regimes where DP-CD outperforms DP-SGD, thanks to
the possibility of using larger step sizes. We also prove new lower bounds for
composite DP-ERM under coordinate-wise regularity assumptions, that are, in
some settings, nearly matched by our algorithm. In practical implementations,
the coordinate-wise nature of DP-CD updates demands special care in choosing
the clipping thresholds used to bound individual contributions to the
gradients. A natural parameterization of these thresholds emerges from our
theory, limiting the addition of unnecessarily large noise without requiring
coordinate-wise hyperparameter tuning or extra computational cost.
- Abstract(参考訳): 機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。
Stochastic Gradient Descent (DP-SGD) のような最適化アルゴリズムの差分プライベート(DP)は、プライバシとユーティリティのトレードオフを引き起こすことでこれを緩和するように設計されている。
本稿では,DP-ERM (differially Private Empirical Risk Minimization) とDP-CD (differially Private Proximal Coordinate Descent) を組み合わせた新しい手法を提案する。
本研究では, DP-CD がDP-SGD を上回り, ステップサイズを大きくする可能性によって, DP-CD が DP-SGD より優れる状況を明らかにする。
また,座標的正則性仮定の下での複合dp-ermの新たな下限を証明した。
実用的な実装では、DP-CD更新の座標的な性質は、勾配への個々の貢献を束縛するために使用されるクリッピングしきい値を選択することに特別な注意が必要である。
これらのしきい値の自然なパラメータ化は、座標ワイドなハイパーパラメータチューニングや余分な計算コストを必要とせず、不要な大きなノイズの追加を制限するという我々の理論から生じる。
関連論文リスト
- Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in
Private SGD [56.01810892677744]
DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。
BAM(Bias-Aware Minimisation)を提案する。
論文 参考訳(メタデータ) (2023-08-23T09:20:41Z) - Practical Differentially Private Hyperparameter Tuning with Subsampling [8.022555128083026]
そこで我々は,ランダムな探索サンプルの数がランダム化されるような,微分プライベート(DP)機械学習(ML)アルゴリズムの新たなクラスを提案する。
我々は,これらの手法のDP境界と計算コストの両方を,機密データのランダムな部分集合のみを用いて下げることに重点を置いている。
本稿では,提案手法に対するR'enyi差分プライバシー解析を行い,プライバシー利用のトレードオフの改善につながることを実験的に示す。
論文 参考訳(メタデータ) (2023-01-27T21:01:58Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳(メタデータ) (2022-12-01T07:26:49Z) - High-Dimensional Private Empirical Risk Minimization by Greedy
Coordinate Descent [11.49109939095326]
個人的リスク最小化(DP-ERM)について検討する。
DP-GCDは,幅広い問題に対して,次元の対数依存を実現できることを示す。
論文 参考訳(メタデータ) (2022-07-04T16:27:00Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger [39.93710312222771]
サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。
本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
論文 参考訳(メタデータ) (2022-06-14T19:49:44Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。