論文の概要: Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion

• arxiv url: http://arxiv.org/abs/2003.04493v2
• Date: Wed, 25 Mar 2020 15:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 20:25:59.637756
• Title: Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion
• Title（参考訳）: edgeworth展開によるgaussian differential privacyのシャープコンポジション境界
• Authors: Qinqing Zheng, Jinshuo Dong, Qi Long, Weijie J. Su
• Abstract要約: 我々は、最近提案されたf差分プライバシーの枠組みにおいて、Edgeworth拡張を使用して構成された分析的および鋭いプライバシー境界のファミリーを紹介する。 これらの新たなバウンダリの優位性は、エラー解析と、プライベートディープニューラルネットワークのトレーニングに使用されるノイズ降下の全体的なプライバシー保証を定量化するアプリケーションによって確認される。
• 参考スコア（独自算出の注目度）: 30.680528052804664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Datasets containing sensitive information are often sequentially analyzed by many algorithms. This raises a fundamental question in differential privacy regarding how the overall privacy bound degrades under composition. To address this question, we introduce a family of analytical and sharp privacy bounds under composition using the Edgeworth expansion in the framework of the recently proposed f-differential privacy. In contrast to the existing composition theorems using the central limit theorem, our new privacy bounds under composition gain improved tightness by leveraging the refined approximation accuracy of the Edgeworth expansion. Our approach is easy to implement and computationally efficient for any number of compositions. The superiority of these new bounds is confirmed by an asymptotic error analysis and an application to quantifying the overall privacy guarantees of noisy stochastic gradient descent used in training private deep neural networks.
• Abstract（参考訳）: センシティブな情報を含むデータセットは、多くのアルゴリズムによって順次分析される。 これは、全体的なプライバシバウンドが構成下でどのように低下するかに関する、ディファレンシャルプライバシの基本的な疑問を提起する。 本稿では,最近提案されているf-differential privacyの枠組みにおけるedgeworth拡張を用いた,分析的かつ鋭いプライバシ境界のファミリーについて紹介する。 中央極限定理を用いた既存の合成定理とは対照的に、構成下の新たなプライバシー境界は、エッジワース展開の洗練された近似精度を活用し、密性を向上させる。 我々のアプローチは実装が容易で、様々な構成に対して計算効率が良い。 これらの新しい境界の優位性は漸近的誤差解析と、プライベートディープニューラルネットワークのトレーニングに使用されるノイズの確率的勾配降下の全体的なプライバシー保証を定量化する応用によって確認される。

関連論文リスト

• Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
  フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。 ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
  論文  参考訳（メタデータ） (2024-08-28T08:22:21Z)
• Shifted Interpolation for Differential Privacy [6.1836947007564085]
  雑音勾配降下とその変種は、微分プライベート機械学習の主要なアルゴリズムである。 本稿では、$f$差分プライバシの統一化フレームワークにおいて、"corollary によるプライバシ増幅" 現象を確立する。 これは、強力な凸最適化の基礎的な設定において、最初の正確なプライバシー分析につながる。
  論文  参考訳（メタデータ） (2024-03-01T04:50:04Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints [53.01656650117495]
  研究者と実践者の間には、プライバシとユーティリティのトレードオフの扱い方の違いがある。 ブラウン機構は、まず擬ブラウン運動の最終点に対応する高分散のガウス雑音を加えることで機能する。 我々は、古典的AboveThresholdアルゴリズムの一般化であるReduceedAboveThresholdでブラウン機構を補完する。
  論文  参考訳（メタデータ） (2022-06-15T01:43:37Z)
• Analytical Composition of Differential Privacy via the Edgeworth Accountant [33.884945178942075]
  プライベートアルゴリズムの差分プライバシー保証を構成するための分析的アプローチであるEdgeworth Accountantを導入する。 Edgeworth Accountantは、$f$差分プライバシーフレームワークを使用して構成されているプライバシー損失を損失なく追跡することから始める。 当社の上位と下位の$(epsilon, delta)$differential privacy boundsは、フェデレーション分析と特定の制度がプライベートディープラーニングモデルをトレーニングしていることを実証しています。
  論文  参考訳（メタデータ） (2022-06-09T02:52:57Z)
• Differentially Private Learning Needs Hidden State (Or Much Faster Convergence) [9.429448411561541]
  差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。 私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
  論文  参考訳（メタデータ） (2022-03-10T13:31:08Z)
• Robust and Provable Guarantees for Sparse Random Embeddings [72.24615341588846]
  我々は、Freksen が al. (NIPS'18) と Jagadeesan (NIPS'18) で提供したスパースランダム埋め込みの保証を改善する。 a) 前述した保証とは対照的に我々の境界は明示的であり、(b)我々の境界は実際に重要な定数によってよりシャープであることが保証されている。 我々は、我々の境界が、広範囲の現実世界のデータセットに関する先行研究よりも著しく優れていることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-02-22T11:15:59Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent [10.409652277630132]
  我々はLangevin拡散におけるプライバシー損失のダイナミクスをモデル化し、ノイズ勾配降下アルゴリズムに拡張する。 プライバシーの損失は指数関数的に速く収束する。
  論文  参考訳（メタデータ） (2021-02-11T05:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。