論文の概要: Smoothed Differential Privacy

• arxiv url: http://arxiv.org/abs/2107.01559v1
• Date: Sun, 4 Jul 2021 06:55:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 14:44:50.983927
• Title: Smoothed Differential Privacy
• Title（参考訳）: 滑らかな微分プライバシー
• Authors: Ao Liu, Lirong Xia
• Abstract要約: 微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 多くの現実世界のアプリケーションでは、外部ノイズの追加は望ましくないため、時には禁止される。 構成性, 後処理に対する堅牢性など, スムーズなDPのいくつかの特性を実証する。
• 参考スコア（独自算出の注目度）: 39.333545314076126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy (DP) is a widely-accepted and widely-applied notion of privacy based on worst-case analysis. Often, DP classifies most mechanisms without external noise as non-private [Dwork et al., 2014], and external noises, such as Gaussian noise or Laplacian noise [Dwork et al., 2006], are introduced to improve privacy. In many real-world applications, however, adding external noise is undesirable and sometimes prohibited. For example, presidential elections often require a deterministic rule to be used [Liu et al., 2020], and small noises can lead to dramatic decreases in the prediction accuracy of deep neural networks, especially the underrepresented classes [Bagdasaryan et al., 2019]. In this paper, we propose a natural extension and relaxation of DP following the worst average-case idea behind the celebrated smoothed analysis [Spielman and Teng, 2004]. Our notion, the smoothed DP, can effectively measure the privacy leakage of mechanisms without external noises under realistic settings. We prove several strong properties of the smoothed DP, including composability, robustness to post-processing and etc. We proved that any discrete mechanism with sampling procedures is more private than what DP predicts. In comparison, many continuous mechanisms with sampling procedures are still non-private under smoothed DP. Experimentally, we first verified that the discrete sampling mechanisms are private in real-world elections. Then, we apply the smoothed DP notion on quantized gradient descent, which indicates some neural networks can be private without adding any extra noises. We believe that these results contribute to the theoretical foundation of realistic privacy measures beyond worst-case analysis.
• Abstract（参考訳）: 微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 多くの場合、dpは外部ノイズのないほとんどのメカニズムを非プライベート(dwork et al., 2014)に分類し、外部ノイズ(gaussian noise)やラプラシアンノイズ(dwork et al., 2006)はプライバシーを改善するために導入される。 しかし、現実世界の多くのアプリケーションでは、外部ノイズの追加は望ましくないため、時には禁止される。 例えば、大統領選挙は、しばしば決定論的ルール(Liu et al., 2020)を必要とするが、小さなノイズはディープニューラルネットワークの予測精度を劇的に低下させ、特に表現不足のクラス(Bagdasaryan et al., 2019)は大幅に低下する可能性がある。 本稿では, 祝福されたスムーズな解析の背景にある最悪の平均ケースのアイデア(Spielman and Teng, 2004)に従って, DPの自然な拡張と緩和を提案する。 smoothed dpという私たちの概念は、現実的な設定下で外部ノイズのないメカニズムのプライバシーリークを効果的に測定できます。 構成性, 後処理に対する堅牢性など, スムーズなDPのいくつかの特性を実証する。 dp が予測するよりも,サンプリング手順による離散的なメカニズムはよりプライベートであることが証明された。 対照的に、サンプリング手順を伴う多くの連続的なメカニズムは、平滑化dp下ではまだ非プライベートである。 実世界の選挙において, 個別のサンプリング機構が非公開であることを初めて検証した。 次に,量子化勾配降下に対する平滑化dp概念を適用し,追加ノイズを付加することなく,一部のニューラルネットワークがプライベートであることを示す。 これらの結果は、最悪のケース分析を超えて、現実的なプライバシー対策の理論的基礎に寄与すると考えている。

関連論文リスト

• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Provable Privacy with Non-Private Pre-Processing [56.770023668379615]
  非プライベートなデータ依存前処理アルゴリズムによって生じる追加のプライバシーコストを評価するための一般的なフレームワークを提案する。 当社のフレームワークは,2つの新しい技術的概念を活用することにより,全体的なプライバシー保証の上限を確立する。
  論文  参考訳（メタデータ） (2024-03-19T17:54:49Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
  我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。 また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
  論文  参考訳（メタデータ） (2021-10-27T04:11:06Z)
• Learning Numeric Optimal Differentially Private Truncated Additive Mechanisms [5.079561894598125]
  実効性境界が強い付加的なメカニズムに対して,トランクテッドノイズを学習するためのツールを提案する。 平均単調な単調な音から, 対称性やその新しい音を考慮すれば十分であることを示す。 感度境界機構については, 平均単調な単調なノイズから, 対称性とその新しさを考えるのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-07-27T17:22:57Z)
• Practical Privacy Filters and Odometers with R\'enyi Differential Privacy and Applications to Differentially Private Deep Learning [0.0]
  我々はR'enyi Differential Privacyのレンズを通して、適応的なプライバシー予算の下でDP組成を研究します。 より単純な合成定理をより小さい定数で証明し、アルゴリズム設計に十分な実用性を与える。
  論文  参考訳（メタデータ） (2021-03-02T00:37:11Z)
• Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics [2.614355818010333]
  アナリストが純粋なDP、境界範囲(指数的なメカニズムなど)、集中的なDPメカニズムを任意の順序で選択できる場合、強いプライバシー損失バウンダリを提供する。 また、アナリストが純粋なDPと境界範囲のメカニズムをバッチで選択できる場合に適用される最適なプライバシー損失境界を提供する。
  論文  参考訳（メタデータ） (2020-04-15T17:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。