論文の概要: Smoothed Differential Privacy

• arxiv url: http://arxiv.org/abs/2107.01559v1
• Date: Sun, 4 Jul 2021 06:55:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 14:44:50.983927
• Title: Smoothed Differential Privacy
• Title（参考訳）: 滑らかな微分プライバシー
• Authors: Ao Liu, Lirong Xia
• Abstract要約: 微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 多くの現実世界のアプリケーションでは、外部ノイズの追加は望ましくないため、時には禁止される。 構成性, 後処理に対する堅牢性など, スムーズなDPのいくつかの特性を実証する。
• 参考スコア（独自算出の注目度）: 39.333545314076126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy (DP) is a widely-accepted and widely-applied notion of privacy based on worst-case analysis. Often, DP classifies most mechanisms without external noise as non-private [Dwork et al., 2014], and external noises, such as Gaussian noise or Laplacian noise [Dwork et al., 2006], are introduced to improve privacy. In many real-world applications, however, adding external noise is undesirable and sometimes prohibited. For example, presidential elections often require a deterministic rule to be used [Liu et al., 2020], and small noises can lead to dramatic decreases in the prediction accuracy of deep neural networks, especially the underrepresented classes [Bagdasaryan et al., 2019]. In this paper, we propose a natural extension and relaxation of DP following the worst average-case idea behind the celebrated smoothed analysis [Spielman and Teng, 2004]. Our notion, the smoothed DP, can effectively measure the privacy leakage of mechanisms without external noises under realistic settings. We prove several strong properties of the smoothed DP, including composability, robustness to post-processing and etc. We proved that any discrete mechanism with sampling procedures is more private than what DP predicts. In comparison, many continuous mechanisms with sampling procedures are still non-private under smoothed DP. Experimentally, we first verified that the discrete sampling mechanisms are private in real-world elections. Then, we apply the smoothed DP notion on quantized gradient descent, which indicates some neural networks can be private without adding any extra noises. We believe that these results contribute to the theoretical foundation of realistic privacy measures beyond worst-case analysis.
• Abstract（参考訳）: 微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 多くの場合、dpは外部ノイズのないほとんどのメカニズムを非プライベート(dwork et al., 2014)に分類し、外部ノイズ(gaussian noise)やラプラシアンノイズ(dwork et al., 2006)はプライバシーを改善するために導入される。 しかし、現実世界の多くのアプリケーションでは、外部ノイズの追加は望ましくないため、時には禁止される。 例えば、大統領選挙は、しばしば決定論的ルール(Liu et al., 2020)を必要とするが、小さなノイズはディープニューラルネットワークの予測精度を劇的に低下させ、特に表現不足のクラス(Bagdasaryan et al., 2019)は大幅に低下する可能性がある。 本稿では, 祝福されたスムーズな解析の背景にある最悪の平均ケースのアイデア(Spielman and Teng, 2004)に従って, DPの自然な拡張と緩和を提案する。 smoothed dpという私たちの概念は、現実的な設定下で外部ノイズのないメカニズムのプライバシーリークを効果的に測定できます。 構成性, 後処理に対する堅牢性など, スムーズなDPのいくつかの特性を実証する。 dp が予測するよりも,サンプリング手順による離散的なメカニズムはよりプライベートであることが証明された。 対照的に、サンプリング手順を伴う多くの連続的なメカニズムは、平滑化dp下ではまだ非プライベートである。 実世界の選挙において, 個別のサンプリング機構が非公開であることを初めて検証した。 次に,量子化勾配降下に対する平滑化dp概念を適用し,追加ノイズを付加することなく,一部のニューラルネットワークがプライベートであることを示す。 これらの結果は、最悪のケース分析を超えて、現実的なプライバシー対策の理論的基礎に寄与すると考えている。

関連論文リスト

• Adaptive Privacy Composition for Accuracy-first Mechanisms [53.516255849612094]
  我々は、分析者が微分プライベートとポストプライベートのメカニズムを適応的に切り替えることのできるプライバシーフィルタを開発した。 ノイズ低減メカニズムの大きな利点は、アナリストがリリースした最もノイズが少ない、あるいは最も正確な答えのプライバシーコストのみを支払うことだ。
  論文  参考訳（メタデータ） (2023-06-24T00:33:34Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [54.296220672687944]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss [34.66940399825547]
  業界は単純なアルゴリズムを広く採用している:騒音を伴うグラディエントDescent(グラディエントLangevin Dynamics) このアルゴリズムのプライバシ損失に関する疑問は、バウンドドメイン上の滑らかな凸損失の一見単純な設定であっても、まだオープンである。 我々は、差分プライバシーを一定の要因まで特徴づけ、小さなバーンイン期間の後、SGDの実行がこれ以上のプライバシーを漏らさないことを示す。
  論文  参考訳（メタデータ） (2022-05-27T02:09:55Z)
• A Differentially Private Framework for Deep Learning with Convexified Loss Functions [4.059849656394191]
  差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。 既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。 本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
  論文  参考訳（メタデータ） (2022-04-03T11:10:05Z)
• Not all noise is accounted equally: How differentially private learning benefits from large sampling rates [0.0]
  差分的にプライベートなSGDでは、各トレーニングイテレーションで計算された勾配は2種類のノイズを受ける。 本研究では,これらの2種類のノイズが,プライベートニューラルネットワークの有用性に与える影響について検討した。 雑音の比率を、より固有で付加的な雑音にシフトさせる訓練パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:11:31Z)
• Learning Numeric Optimal Differentially Private Truncated Additive Mechanisms [5.079561894598125]
  実効性境界が強い付加的なメカニズムに対して,トランクテッドノイズを学習するためのツールを提案する。 平均単調な単調な音から, 対称性やその新しい音を考慮すれば十分であることを示す。 感度境界機構については, 平均単調な単調なノイズから, 対称性とその新しさを考えるのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-07-27T17:22:57Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial Network [75.81653258081435]
  GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。 しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。 本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T09:51:02Z)
• Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics [2.614355818010333]
  アナリストが純粋なDP、境界範囲(指数的なメカニズムなど)、集中的なDPメカニズムを任意の順序で選択できる場合、強いプライバシー損失バウンダリを提供する。 また、アナリストが純粋なDPと境界範囲のメカニズムをバッチで選択できる場合に適用される最適なプライバシー損失境界を提供する。
  論文  参考訳（メタデータ） (2020-04-15T17:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。