論文の概要: Scalable DP-SGD: Shuffling vs. Poisson Subsampling

• arxiv url: http://arxiv.org/abs/2411.04205v1
• Date: Wed, 06 Nov 2024 19:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:52.236594
• Title: Scalable DP-SGD: Shuffling vs. Poisson Subsampling
• Title（参考訳）: スケーラブルDP-SGD: Shuffling vs. Poisson Subsampling
• Authors: Lynn Chua, Badih Ghazi, Pritish Kamath, Ravi Kumar, Pasin Manurangsi, Amer Sinha, Chiyuan Zhang,
• Abstract要約: バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
• 参考スコア（独自算出の注目度）: 61.19794019914523
• License:
• Abstract: We provide new lower bounds on the privacy guarantee of the multi-epoch Adaptive Batch Linear Queries (ABLQ) mechanism with shuffled batch sampling, demonstrating substantial gaps when compared to Poisson subsampling; prior analysis was limited to a single epoch. Since the privacy analysis of Differentially Private Stochastic Gradient Descent (DP-SGD) is obtained by analyzing the ABLQ mechanism, this brings into serious question the common practice of implementing shuffling-based DP-SGD, but reporting privacy parameters as if Poisson subsampling was used. To understand the impact of this gap on the utility of trained machine learning models, we introduce a practical approach to implement Poisson subsampling at scale using massively parallel computation, and efficiently train models with the same. We compare the utility of models trained with Poisson-subsampling-based DP-SGD, and the optimistic estimates of utility when using shuffling, via our new lower bounds on the privacy guarantee of ABLQ with shuffling.
• Abstract（参考訳）: バッチサンプリングをシャッフルしたマルチエポック適応バッチ線形クエリ(ABLQ, Adaptive Batch Linear Queries)機構では,Poissonサブサンプリングと比較して大きな差がみられ,事前解析は単一エポックに限られていた。 ABLQ機構を解析することにより,DP-SGDのプライバシー分析が得られたため,シャッフル方式のDP-SGDの実装の一般的な実践は問題視されるが,プライバシパラメータはポアソン・サブサンプリングのように報告される。 訓練された機械学習モデルの実用性に対するこのギャップの影響を理解するため、大規模に並列計算を用いてPoissonサブサンプリングを実装するための実践的なアプローチを導入し、モデルを効率的に訓練する。 我々は,Poisson-subsampling-based DP-SGDでトレーニングしたモデルの有用性と,シャッフルによるABLQのプライバシ保証に関する新たな下位限によるシャッフル使用時の実用性の推定値を比較した。

関連論文リスト

• Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement [6.494759487261151]
  固定サイズサブサンプリングシステムにおけるDP-SGD勾配は、メモリ使用率のメリットに加えて、実際的なばらつきが低い。 広範に使われているPoissonサブサンプリングとFSwoRが置き換え1つの隣接性を持つことが、サンプリング確率の上位に同じプライバシを持つことを示す。
  論文  参考訳（メタデータ） (2024-08-19T23:57:31Z)
• Towards Efficient and Scalable Training of Differentially Private Deep Learning [5.825410941577592]
  微分プライベート勾配降下(DP-SGD)は、差分プライバシ(DP)の下で機械学習モデルを訓練するための標準アルゴリズムである。 Poissonサブサンプリングによる計算効率の良いDP-SGDの実装は簡単ではないため、多くの実装がこの要件を無視している。 本研究では,DP下でのディープラーニングモデルを学習する際の計算コストを定量化するための総合的な実証的研究を行う。 PyTorch の Opacus を用いた単純実装 DP-SGD は,SGD よりも2.6～8倍のスループットを持つことがわかった。
  論文  参考訳（メタデータ） (2024-06-25T06:04:58Z)
• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。