論文の概要: Three Variants of Differential Privacy: Lossless Conversion and
Applications
- arxiv url: http://arxiv.org/abs/2008.06529v2
- Date: Sat, 23 Jan 2021 19:34:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 17:01:52.231222
- Title: Three Variants of Differential Privacy: Lossless Conversion and
Applications
- Title(参考訳): ディファレンシャルプライバシの3つの変種:ロスレス変換と応用
- Authors: Shahab Asoodeh, Jiachun Liao, Flavio P. Calmon, Oliver Kosut, and
Lalitha Sankar
- Abstract要約: 本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。
まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。
アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
- 参考スコア(独自算出の注目度): 13.057076084452016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider three different variants of differential privacy (DP), namely
approximate DP, R\'enyi DP (RDP), and hypothesis test DP. In the first part, we
develop a machinery for optimally relating approximate DP to RDP based on the
joint range of two $f$-divergences that underlie the approximate DP and RDP. In
particular, this enables us to derive the optimal approximate DP parameters of
a mechanism that satisfies a given level of RDP. As an application, we apply
our result to the moments accountant framework for characterizing privacy
guarantees of noisy stochastic gradient descent (SGD). When compared to the
state-of-the-art, our bounds may lead to about 100 more stochastic gradient
descent iterations for training deep learning models for the same privacy
budget. In the second part, we establish a relationship between RDP and
hypothesis test DP which allows us to translate the RDP constraint into a
tradeoff between type I and type II error probabilities of a certain binary
hypothesis test. We then demonstrate that for noisy SGD our result leads to
tighter privacy guarantees compared to the recently proposed $f$-DP framework
for some range of parameters.
- Abstract(参考訳): 差分プライバシー(DP)の3つの変種、すなわち近似DP、R'enyi DP(RDP)、仮説テストDPを考える。
第1部では、近似DPとRDPを基盤とする2つの$f$-divergencesの結合範囲に基づいて、近似DPとRDPを最適に関連付ける機械を開発する。
特に、与えられたDPレベルを満たすメカニズムの最適近似DPパラメータを導出することができる。
アプリケーションとして、ノイズのある確率勾配勾配(SGD)のプライバシー保証を特徴付けるためのモーメント会計フレームワークに適用する。
最新技術と比較すると、同じプライバシー予算でディープラーニングモデルをトレーニングするために、私たちの限界は100回ほど確率的な勾配降下イテレーションにつながります。
第二部では, rdp と仮説テスト dp の関係を確立し, rdp の制約を, ある二項仮説テストのタイプ i とタイプ ii の誤差確率のトレードオフに翻訳する。
次に、ノイズの多いSGDに対して、我々の結果は、最近提案されたパラメータの$f$-DPフレームワークと比較して、より厳しいプライバシー保証につながることを実証します。
関連論文リスト
- Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Differentially Private Episodic Reinforcement Learning with Heavy-tailed
Rewards [12.809396600279479]
差分プライバシ(DP)制約下での重み付き報酬を伴うマルコフ決定プロセス(MDP)の問題について検討する。
報酬に対するロバストな平均推定器を利用することで、まず重み付きMDPのための2つのフレームワークを提案する。
我々は,自家用RLとガウシアン以下のRLと,重み付き報酬とに根本的な相違があることを指摘した。
論文 参考訳(メタデータ) (2023-06-01T20:18:39Z) - Connect the Dots: Tighter Discrete Approximations of Privacy Loss
Distributions [49.726408540784334]
PLDベースの会計の鍵となる問題は、特定の個別サポートに対してPLDと(潜在的に連続的な)PLDをどのように近似するかである。
悲観的推定はすべての悲観的推定の中で最良であることを示す。
論文 参考訳(メタデータ) (2022-07-10T04:25:02Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。
われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
論文 参考訳(メタデータ) (2021-12-29T07:32:29Z) - Differentially Private Coordinate Descent for Composite Empirical Risk
Minimization [13.742100810492014]
機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。
Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。
差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
論文 参考訳(メタデータ) (2021-10-22T10:22:48Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳(メタデータ) (2021-07-04T06:55:45Z) - Optimal Accounting of Differential Privacy via Characteristic Function [25.78065563380023]
本稿では,プライバシ・プロフィール,プライバシ・プロファイル,$f$-DP,PLDフォーマリズムなどの最近の進歩を,ある最悪のケースのプライバシ・ロスランダム変数の特徴関数(phi$-function)を介して統一することを提案する。
我々のアプローチは、Renyi DPのような自然適応的な構成を可能にし、PDDのような厳密なプライバシ会計を提供し、プライバシープロファイルや$f$-DPに変換できることが示されています。
論文 参考訳(メタデータ) (2021-06-16T06:13:23Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳(メタデータ) (2021-01-11T19:43:12Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z) - A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via
$f$-Divergences [14.008231249756678]
我々の結果は、近似とR'enyiの差分プライバシーの変動を下支えする2つの$f-divergencesの合同範囲に基づいている。
最先端と比較して、私たちの限界は、同じプライバシー予算のためにディープラーニングモデルをトレーニングするための、およそ100の勾配降下イテレーションにつながります。
論文 参考訳(メタデータ) (2020-01-16T18:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。