論文の概要: Three Variants of Differential Privacy: Lossless Conversion and
Applications
- arxiv url: http://arxiv.org/abs/2008.06529v2
- Date: Sat, 23 Jan 2021 19:34:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 17:01:52.231222
- Title: Three Variants of Differential Privacy: Lossless Conversion and
Applications
- Title（参考訳）: ディファレンシャルプライバシの3つの変種:ロスレス変換と応用
- Authors: Shahab Asoodeh, Jiachun Liao, Flavio P. Calmon, Oliver Kosut, and
Lalitha Sankar
- Abstract要約: 本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。
まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。
アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
- 参考スコア（独自算出の注目度）: 13.057076084452016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider three different variants of differential privacy (DP), namely
approximate DP, R\'enyi DP (RDP), and hypothesis test DP. In the first part, we
develop a machinery for optimally relating approximate DP to RDP based on the
joint range of two $f$-divergences that underlie the approximate DP and RDP. In
particular, this enables us to derive the optimal approximate DP parameters of
a mechanism that satisfies a given level of RDP. As an application, we apply
our result to the moments accountant framework for characterizing privacy
guarantees of noisy stochastic gradient descent (SGD). When compared to the
state-of-the-art, our bounds may lead to about 100 more stochastic gradient
descent iterations for training deep learning models for the same privacy
budget. In the second part, we establish a relationship between RDP and
hypothesis test DP which allows us to translate the RDP constraint into a
tradeoff between type I and type II error probabilities of a certain binary
hypothesis test. We then demonstrate that for noisy SGD our result leads to
tighter privacy guarantees compared to the recently proposed $f$-DP framework
for some range of parameters.
- Abstract（参考訳）: 差分プライバシー(DP)の3つの変種、すなわち近似DP、R'enyi DP(RDP)、仮説テストDPを考える。
第1部では、近似DPとRDPを基盤とする2つの$f$-divergencesの結合範囲に基づいて、近似DPとRDPを最適に関連付ける機械を開発する。
特に、与えられたDPレベルを満たすメカニズムの最適近似DPパラメータを導出することができる。
アプリケーションとして、ノイズのある確率勾配勾配(SGD)のプライバシー保証を特徴付けるためのモーメント会計フレームワークに適用する。
最新技術と比較すると、同じプライバシー予算でディープラーニングモデルをトレーニングするために、私たちの限界は100回ほど確率的な勾配降下イテレーションにつながります。
第二部では, rdp と仮説テスト dp の関係を確立し, rdp の制約を, ある二項仮説テストのタイプ i とタイプ ii の誤差確率のトレードオフに翻訳する。
次に、ノイズの多いSGDに対して、我々の結果は、最近提案されたパラメータの$f$-DPフレームワークと比較して、より厳しいプライバシー保証につながることを実証します。
関連論文リスト
- Correlated Privacy Mechanisms for Differentially Private Distributed Mean Estimation [8.660393575612169]
CorDP-DMEは、ローカルディファレンシャルプライバシ(LDP)と分散DP(SecAgg)のギャップにまたがる新しいDP-DMEである。
我々はCorDP-DMEの情報理論解析を行い、任意のプライバシパラメータの下での実用性に関する理論的保証を導出する。
論文 参考訳（メタデータ） (2024-07-03T17:22:33Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Differentially Private Episodic Reinforcement Learning with Heavy-tailed
Rewards [12.809396600279479]
差分プライバシ(DP)制約下での重み付き報酬を伴うマルコフ決定プロセス(MDP)の問題について検討する。
報酬に対するロバストな平均推定器を利用することで、まず重み付きMDPのための2つのフレームワークを提案する。
我々は,自家用RLとガウシアン以下のRLと,重み付き報酬とに根本的な相違があることを指摘した。
論文 参考訳（メタデータ） (2023-06-01T20:18:39Z) - Connect the Dots: Tighter Discrete Approximations of Privacy Loss
Distributions [49.726408540784334]
PLDベースの会計の鍵となる問題は、特定の個別サポートに対してPLDと(潜在的に連続的な)PLDをどのように近似するかである。
悲観的推定はすべての悲観的推定の中で最良であることを示す。
論文 参考訳（メタデータ） (2022-07-10T04:25:02Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。
われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
論文 参考訳（メタデータ） (2021-12-29T07:32:29Z) - Differentially Private Coordinate Descent for Composite Empirical Risk
Minimization [13.742100810492014]
機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。
Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。
差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
論文 参考訳（メタデータ） (2021-10-22T10:22:48Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z) - A Better Bound Gives a Hundred Rounds: Enhanced Privacy Guarantees via
$f$-Divergences [14.008231249756678]
我々の結果は、近似とR'enyiの差分プライバシーの変動を下支えする2つの$f-divergencesの合同範囲に基づいている。
最先端と比較して、私たちの限界は、同じプライバシー予算のためにディープラーニングモデルをトレーニングするための、およそ100の勾配降下イテレーションにつながります。
論文 参考訳（メタデータ） (2020-01-16T18:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。