論文の概要: How Private are DP-SGD Implementations?

• arxiv url: http://arxiv.org/abs/2403.17673v2
• Date: Thu, 6 Jun 2024 16:35:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 20:42:53.464805
• Title: How Private are DP-SGD Implementations?
• Title（参考訳）: DP-SGDの実装はどの程度プライベートか?
• Authors: Lynn Chua, Badih Ghazi, Pritish Kamath, Ravi Kumar, Pasin Manurangsi, Amer Sinha, Chiyuan Zhang,
• Abstract要約: 2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
• 参考スコア（独自算出の注目度）: 61.19794019914523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We demonstrate a substantial gap between the privacy guarantees of the Adaptive Batch Linear Queries (ABLQ) mechanism under different types of batch sampling: (i) Shuffling, and (ii) Poisson subsampling; the typical analysis of Differentially Private Stochastic Gradient Descent (DP-SGD) follows by interpreting it as a post-processing of ABLQ. While shuffling-based DP-SGD is more commonly used in practical implementations, it has not been amenable to easy privacy analysis, either analytically or even numerically. On the other hand, Poisson subsampling-based DP-SGD is challenging to scalably implement, but has a well-understood privacy analysis, with multiple open-source numerically tight privacy accountants available. This has led to a common practice of using shuffling-based DP-SGD in practice, but using the privacy analysis for the corresponding Poisson subsampling version. Our result shows that there can be a substantial gap between the privacy analysis when using the two types of batch sampling, and thus advises caution in reporting privacy parameters for DP-SGD.
• Abstract（参考訳）: バッチサンプリングの種類によって,Adaptive Batch Linear Queries (ABLQ) メカニズムのプライバシ保証との間には,大きなギャップがある。 (i)シャッフル,シャッフル (II)Poisson subsampling;典型的にはDP-SGDはABLQの後処理として解釈される。 シャッフルベースのDP-SGDは、より一般的に実用化されているが、解析的にも数値的にも、容易にプライバシー分析できるものではない。 一方、PoissonのサブサンプルベースのDP-SGDは、徹底的に実装することは難しいが、複数のオープンソースの数値的に厳密なプライバシー会計士が利用できるように、よく理解されているプライバシー分析がある。 これにより、シャッフルベースのDP-SGDを実際に使用するのが一般的であるが、対応するPoissonサブサンプリングバージョンのプライバシ分析を使用する。 以上の結果から,2種類のバッチサンプリングを用いた場合のプライバシー分析には大きなギャップがあり,DP-SGDのプライバシパラメータの報告に注意が必要であることが示唆された。

関連論文リスト

• To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
  シャッフル法を用いてDP-SGDを解析した。 プライバシー保証を十分に過大評価(最大4倍)することで訓練された最先端のDPモデルを示す。 我々の研究は、DP-SGDの実際のプライバシー漏洩を、Poissonサブサンプリングのvis-a-visに代えてシャッフルを使用するリスクを実証的に証明している。
  論文  参考訳（メタデータ） (2024-11-15T22:34:28Z)
• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Gradients Look Alike: Sensitivity is Often Overestimated in DP-SGD [44.11069254181353]
  DP-SGDのリークは、一般的なベンチマークでトレーニングした場合、多くのデータポイントのプライバシが大幅に低下することを示す。 これは、敵がトレーニングデータセットを十分にコントロールしていない場合、プライバシ攻撃が多くのデータポイントに対して必ず失敗することを意味する。
  論文  参考訳（メタデータ） (2023-07-01T11:51:56Z)
• Personalized DP-SGD using Sampling Mechanisms [5.50042037663784]
  Phi$,$Delta$)- Personalized Differential Privacy (($Phi$,$Delta$)- PDP。 提案アルゴリズムは,複数ラウンドのパーソナライズされたサンプリング機構を使用し,DP-SGDイテレーションに組み込む。 実データを用いた実験の結果,提案アルゴリズムはDP-SGDとDP-SGDと既存のPDP機構の単純な組み合わせよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-24T13:56:57Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。