論文の概要: Balls-and-Bins Sampling for DP-SGD

• arxiv url: http://arxiv.org/abs/2412.16802v1
• Date: Sat, 21 Dec 2024 23:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:18.723624
• Title: Balls-and-Bins Sampling for DP-SGD
• Title（参考訳）: DP-SGDのためのボール・バイスサンプリング
• Authors: Lynn Chua, Badih Ghazi, Charlie Harrison, Ethan Leeman, Pritish Kamath, Ravi Kumar, Pasin Manurangsi, Amer Sinha, Chiyuan Zhang,
• Abstract要約: 本稿では,DP-SGD などのDP最適化手法に対する Balls-and-Bins サンプリングを提案する。 我々は,Balls-and-Binsサンプリングが,Balls-and-Binsサンプリングの実装をShufflingと類似した「ベスト・オブ・ボトム」サンプリングを実現することを示す。
• 参考スコア（独自算出の注目度）: 56.959167524617456
• License:
• Abstract: We introduce the Balls-and-Bins sampling for differentially private (DP) optimization methods such as DP-SGD. While it has been common practice to use some form of shuffling in DP-SGD implementations, privacy accounting algorithms have typically assumed that Poisson subsampling is used instead. Recent work by Chua et al. (ICML 2024) however pointed out that shuffling based DP-SGD can have a much larger privacy cost in practical regimes of parameters. We show that the Balls-and-Bins sampling achieves the "best-of-both" samplers, namely, the implementation of Balls-and-Bins sampling is similar to that of Shuffling and models trained using DP-SGD with Balls-and-Bins sampling achieve utility comparable to those trained using DP-SGD with Shuffling at the same noise multiplier, and yet, Balls-and-Bins sampling enjoys similar-or-better privacy amplification as compared to Poisson subsampling in practical regimes.
• Abstract（参考訳）: 本稿では,DP-SGD などのDP最適化手法に対する Balls-and-Bins サンプリングを提案する。 DP-SGD実装で何らかのシャッフルを使用するのが一般的だが、プライバシ会計アルゴリズムは通常、Poissonサブサンプリングを代わりに使用すると仮定している。 しかし、Chua et al (ICML 2024) による最近の研究は、シャッフルベースのDP-SGDは、実用的なパラメーターの状況においてはるかに大きなプライバシーコストをもたらす可能性があることを指摘している。 また,Balls-and-Bins サンプリングは,DP-SGD と Balls-and-Bins サンプリングを用いた DP-SGD と同一ノイズ乗算器で DP-SGD を用いて訓練した DP-SGD と同等の実用性が得られるが,Palls-and-Bins サンプリングはPoisson サブサンプリングと類似のプライバシー増幅を享受する。

関連論文リスト

• To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
  シャッフル法を用いてDP-SGDを解析した。 プライバシー保証を十分に過大評価(最大4倍)することで訓練された最先端のDPモデルを示す。 我々の研究は、DP-SGDの実際のプライバシー漏洩を、Poissonサブサンプリングのvis-a-visに代えてシャッフルを使用するリスクを実証的に証明している。
  論文  参考訳（メタデータ） (2024-11-15T22:34:28Z)
• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• Towards Efficient and Scalable Training of Differentially Private Deep Learning [5.825410941577592]
  微分プライベート勾配降下(DP-SGD)は、差分プライバシ(DP)の下で機械学習モデルを訓練するための標準アルゴリズムである。 Poissonサブサンプリングによる計算効率の良いDP-SGDの実装は簡単ではないため、多くの実装がこの要件を無視している。 本研究では,DP下でのディープラーニングモデルを学習する際の計算コストを定量化するための総合的な実証的研究を行う。 PyTorch の Opacus を用いた単純実装 DP-SGD は,SGD よりも2.6～8倍のスループットを持つことがわかった。
  論文  参考訳（メタデータ） (2024-06-25T06:04:58Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Preconditioned Score-based Generative Models [49.88840603798831]
  直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。 本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。 PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
  論文  参考訳（メタデータ） (2023-02-13T16:30:53Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Practical and Private (Deep) Learning without Sampling or Shuffling [24.29228578925639]
  ミニバッチ勾配を用いた差分プライバシーのトレーニングモデルを検討する。 DP-SGDを増幅したDP-SGDと比較し,DP-FTRLを解析した。
  論文  参考訳（メタデータ） (2021-02-26T20:16:26Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。