論文の概要: Smoothed Differential Privacy
- arxiv url: http://arxiv.org/abs/2107.01559v4
- Date: Tue, 12 Dec 2023 23:49:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 21:26:11.921460
- Title: Smoothed Differential Privacy
- Title(参考訳): 滑らかな微分プライバシー
- Authors: Ao Liu, Yu-Xiang Wang, Lirong Xia
- Abstract要約: 微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
- 参考スコア(独自算出の注目度): 55.415581832037084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential privacy (DP) is a widely-accepted and widely-applied notion of
privacy based on worst-case analysis. Often, DP classifies most mechanisms
without additive noise as non-private (Dwork et al., 2014). Thus, additive
noises are added to improve privacy (to achieve DP). However, in many
real-world applications, adding additive noise is undesirable (Bagdasaryan et
al., 2019) and sometimes prohibited (Liu et al., 2020).
In this paper, we propose a natural extension of DP following the worst
average-case idea behind the celebrated smoothed analysis (Spielman & Teng, May
2004). Our notion, smoothed DP, can effectively measure the privacy leakage of
mechanisms without additive noises under realistic settings. We prove that any
discrete mechanism with sampling procedures is more private than what DP
predicts, while many continuous mechanisms with sampling procedures are still
non-private under smoothed DP. In addition, we prove several desirable
properties of smoothed DP, including composition, robustness to
post-processing, and distribution reduction. Based on those properties, we
propose an efficient algorithm to calculate the privacy parameters for smoothed
DP. Experimentally, we verify that, according to smoothed DP, the discrete
sampling mechanisms are private in real-world elections, and some discrete
neural networks can be private without adding any additive noise. We believe
that these results contribute to the theoretical foundation of realistic
privacy measures beyond worst-case analysis.
- Abstract(参考訳): 微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
しばしばdpは非プライベートなノイズなしでほとんどのメカニズムを分類する(dwork et al., 2014)。
したがって、(DPを達成するために)プライバシーを改善するために追加ノイズが追加される。
しかし、多くの現実世界のアプリケーションでは、添加音は望ましくない(Bagdasaryan et al., 2019)し、時には禁止される(Liu et al., 2020)。
本稿では,Spielman & Teng,2004 年5 月号) のスムーズな解析の背景にある最悪の平均ケースのアイデアに従って,DP の自然な拡張を提案する。
我々の概念であるスムーズなDPは,現実的な環境下での付加雑音を伴わない機構のプライバシー漏洩を効果的に測定することができる。
サンプリング手順の離散的なメカニズムはDPが予測するよりもプライベートである一方,サンプリング手順の連続的なメカニズムはスムーズなDPの下では依然としてプライベートではない。
また, 組成, 処理後のロバスト性, 分布抑制など, 平滑化dpの望ましい特性がいくつか証明された。
これらの特性に基づいて,スムーズなDPのプライバシーパラメータを計算するアルゴリズムを提案する。
実験により, 平滑化dpにより, 離散的サンプリング機構は実世界の選挙ではプライベートであり, 離散的ニューラルネットワークでは付加ノイズを付加することなくプライベートであることが検証された。
これらの結果は、最悪のケース分析を超えて、現実的なプライバシー対策の理論的基礎に寄与すると考えている。
関連論文リスト
- Shifted Interpolation for Differential Privacy [6.949853145487147]
雑音勾配勾配とその変種は、微分プライベート機械学習の主要なアルゴリズムである。
本稿では、$f$差分プライバシーの統一フレームワークにおける「反復によるプライバシー増幅」現象を確立する。
これは、強力な凸最適化の基礎的な設定において、最初の正確なプライバシー分析につながる。
論文 参考訳(メタデータ) (2024-03-01T04:50:04Z) - Privacy Profiles for Private Selection [21.162924003105484]
私たちは、ReportNoisyMaxとPrivateTuningのプライバシプロファイルを、それらが相関するベースアルゴリズムのプライバシプロファイルを使ってバウンドする、使いやすいレシピを開発しています。
このアプローチはすべての利害関係を改善し、エンドツーエンドのプライベート学習実験において大きなメリットをもたらす。
論文 参考訳(メタデータ) (2024-02-09T08:31:46Z) - On the Privacy of Selection Mechanisms with Gaussian Noise [50.10075455235939]
ガウス雑音によるReport Noisy MaxとAbove Thresholdの分析を再検討する。
その結果,Report Noisy Max の純元 DP 境界と Above Threshold の純元 DP 境界を提供することが可能であることがわかった。
論文 参考訳(メタデータ) (2024-02-09T02:11:25Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback
Approach [67.7315816158682]
Differentially Private Gradient Descent with gradient clipping (DPSGD-GC)は、ディープラーニングモデルをトレーニングするための強力なツールである。
DPノイズインジェクションと勾配クリッピングによるモデル性能劣化のコストがかかる。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-24T17:56:44Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - Learning Numeric Optimal Differentially Private Truncated Additive
Mechanisms [5.079561894598125]
実効性境界が強い付加的なメカニズムに対して,トランクテッドノイズを学習するためのツールを提案する。
平均単調な単調な音から, 対称性やその新しい音を考慮すれば十分であることを示す。
感度境界機構については, 平均単調な単調なノイズから, 対称性とその新しさを考えるのに十分であることを示す。
論文 参考訳(メタデータ) (2021-07-27T17:22:57Z) - Practical Privacy Filters and Odometers with R\'enyi Differential
Privacy and Applications to Differentially Private Deep Learning [0.0]
我々はR'enyi Differential Privacyのレンズを通して、適応的なプライバシー予算の下でDP組成を研究します。
より単純な合成定理をより小さい定数で証明し、アルゴリズム設計に十分な実用性を与える。
論文 参考訳(メタデータ) (2021-03-02T00:37:11Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳(メタデータ) (2021-01-11T19:43:12Z) - Bounding, Concentrating, and Truncating: Unifying Privacy Loss
Composition for Data Analytics [2.614355818010333]
アナリストが純粋なDP、境界範囲(指数的なメカニズムなど)、集中的なDPメカニズムを任意の順序で選択できる場合、強いプライバシー損失バウンダリを提供する。
また、アナリストが純粋なDPと境界範囲のメカニズムをバッチで選択できる場合に適用される最適なプライバシー損失境界を提供する。
論文 参考訳(メタデータ) (2020-04-15T17:33:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。