論文の概要: How Private are DP-SGD Implementations?

• arxiv url: http://arxiv.org/abs/2403.17673v2
• Date: Thu, 6 Jun 2024 16:35:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 20:42:53.464805
• Title: How Private are DP-SGD Implementations?
• Title（参考訳）: DP-SGDの実装はどの程度プライベートか?
• Authors: Lynn Chua, Badih Ghazi, Pritish Kamath, Ravi Kumar, Pasin Manurangsi, Amer Sinha, Chiyuan Zhang,
• Abstract要約: 2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
• 参考スコア（独自算出の注目度）: 61.19794019914523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We demonstrate a substantial gap between the privacy guarantees of the Adaptive Batch Linear Queries (ABLQ) mechanism under different types of batch sampling: (i) Shuffling, and (ii) Poisson subsampling; the typical analysis of Differentially Private Stochastic Gradient Descent (DP-SGD) follows by interpreting it as a post-processing of ABLQ. While shuffling-based DP-SGD is more commonly used in practical implementations, it has not been amenable to easy privacy analysis, either analytically or even numerically. On the other hand, Poisson subsampling-based DP-SGD is challenging to scalably implement, but has a well-understood privacy analysis, with multiple open-source numerically tight privacy accountants available. This has led to a common practice of using shuffling-based DP-SGD in practice, but using the privacy analysis for the corresponding Poisson subsampling version. Our result shows that there can be a substantial gap between the privacy analysis when using the two types of batch sampling, and thus advises caution in reporting privacy parameters for DP-SGD.
• Abstract（参考訳）: バッチサンプリングの種類によって,Adaptive Batch Linear Queries (ABLQ) メカニズムのプライバシ保証との間には,大きなギャップがある。 (i)シャッフル,シャッフル (II)Poisson subsampling;典型的にはDP-SGDはABLQの後処理として解釈される。 シャッフルベースのDP-SGDは、より一般的に実用化されているが、解析的にも数値的にも、容易にプライバシー分析できるものではない。 一方、PoissonのサブサンプルベースのDP-SGDは、徹底的に実装することは難しいが、複数のオープンソースの数値的に厳密なプライバシー会計士が利用できるように、よく理解されているプライバシー分析がある。 これにより、シャッフルベースのDP-SGDを実際に使用するのが一般的であるが、対応するPoissonサブサンプリングバージョンのプライバシ分析を使用する。 以上の結果から,2種類のバッチサンプリングを用いた場合のプライバシー分析には大きなギャップがあり,DP-SGDのプライバシパラメータの報告に注意が必要であることが示唆された。

関連論文リスト

• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Gradients Look Alike: Sensitivity is Often Overestimated in DP-SGD [44.11069254181353]
  DP-SGDのリークは、一般的なベンチマークでトレーニングした場合、多くのデータポイントのプライバシが大幅に低下することを示す。 これは、敵がトレーニングデータセットを十分にコントロールしていない場合、プライバシ攻撃が多くのデータポイントに対して必ず失敗することを意味する。
  論文  参考訳（メタデータ） (2023-07-01T11:51:56Z)
• Personalized DP-SGD using Sampling Mechanisms [5.50042037663784]
  Phi$,$Delta$)- Personalized Differential Privacy (($Phi$,$Delta$)- PDP。 提案アルゴリズムは,複数ラウンドのパーソナライズされたサンプリング機構を使用し,DP-SGDイテレーションに組み込む。 実データを用いた実験の結果,提案アルゴリズムはDP-SGDとDP-SGDと既存のPDP機構の単純な組み合わせよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-24T13:56:57Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Practical and Private (Deep) Learning without Sampling or Shuffling [24.29228578925639]
  ミニバッチ勾配を用いた差分プライバシーのトレーニングモデルを検討する。 DP-SGDを増幅したDP-SGDと比較し,DP-FTRLを解析した。
  論文  参考訳（メタデータ） (2021-02-26T20:16:26Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。