論文の概要: To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling

• arxiv url: http://arxiv.org/abs/2411.10614v2
• Date: Sat, 12 Apr 2025 15:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:45:56.829220
• Title: To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling
• Title（参考訳）: シャッフルするかどうか:シャッフルを伴うDP-SGDの監査
• Authors: Meenatchi Sundaram Muthu Selva Annamalai, Borja Balle, Jamie Hayes, Emiliano De Cristofaro,
• Abstract要約: Differentially Private Gradient Descent (DP-SGD)アルゴリズムは、正式な差分プライバシー(DP)を保証する機械学習(ML)モデルのトレーニングを可能にする。 互換性と計算オーバーヘッドが向上するため、サブサンプリングをシャッフルに置き換えることが一般的になった。 本稿では,DP-SGDをシャッフル処理により解析する新しいDP監査手法を提案する。
• 参考スコア（独自算出の注目度）: 25.669347036509134
• License:
• Abstract: The Differentially Private Stochastic Gradient Descent (DP-SGD) algorithm allows the training of machine learning (ML) models with formal Differential Privacy (DP) guarantees. Since DP-SGD processes training data in batches, it employs Poisson sub-sampling to select each batch at every step. However, it has become common practice to replace sub-sampling with shuffling owing to better compatibility and computational overhead. At the same time, we do not know how to compute tight theoretical guarantees for shuffling; thus, DP guarantees of models privately trained with shuffling are often reported as though Poisson sub-sampling was used. This prompts the need to verify whether gaps exist between the theoretical DP guarantees reported by state-of-the-art models and their actual leakage. To do so, we introduce a novel DP auditing procedure to analyze DP-SGD with shuffling and show that DP models trained with this approach have considerably overestimated privacy guarantees (up to 4 times). In the process, we assess the impact on privacy leakage of several parameters, including batch size, privacy budget, and threat model. Finally, we study two common variations of the shuffling procedure that result in even further privacy leakage (up to 10 times). Overall, our work attests to the risk of using shuffling instead of Poisson sub-sampling vis-\`a-vis privacy leakage from DP-SGD.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DP-SGD)アルゴリズムは、正式な差分プライバシー(DP)を保証する機械学習(ML)モデルのトレーニングを可能にする。 DP-SGDはデータをバッチで処理するため、Poissonサブサンプリングを使用して各ステップで各バッチを選択する。 しかし、互換性と計算オーバーヘッドが向上したため、サブサンプリングをシャッフルに置き換えることが一般的になっている。 同時に、シャッフルの厳密な理論的保証を計算する方法が分かっていないので、シャッフルでプライベートに訓練されたモデルのDP保証は、ポアソンのサブサンプリングが使われたように報告されることが多い。 これにより、現状のモデルによって報告される理論DPの保証と実際のリークとの間にギャップが存在するかどうかを確認する必要がある。 そこで我々は,DP-SGDをシャッフルで解析する新しいDP監査手法を導入し,この手法で訓練されたDPモデルが,プライバシー保証(最大4回)を大幅に過大評価していることを示す。 このプロセスでは、バッチサイズ、プライバシ予算、脅威モデルなど、いくつかのパラメータのプライバシー漏洩の影響を評価する。 最後に、シャッフル手順の2つの一般的なバリエーションについて検討し、さらにプライバシーの漏洩(最大10回)を引き起こした。 全体として、私たちの研究は、DP-SGDからのプライバシー漏洩をサブサンプリングするPoissonの代わりにシャッフルを使用するリスクを証明しています。

関連論文リスト

• Balls-and-Bins Sampling for DP-SGD [56.959167524617456]
  本稿では,DP-SGD などのDP最適化手法に対する Balls-and-Bins サンプリングを提案する。 我々は,Balls-and-Binsサンプリングが,Balls-and-Binsサンプリングの実装をShufflingと類似した「ベスト・オブ・ボトム」サンプリングを実現することを示す。
  論文  参考訳（メタデータ） (2024-12-21T23:09:14Z)
• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement [6.494759487261151]
  固定サイズサブサンプリングシステムにおけるDP-SGD勾配は、メモリ使用率のメリットに加えて、実際的なばらつきが低い。 広範に使われているPoissonサブサンプリングとFSwoRが置き換え1つの隣接性を持つことが、サンプリング確率の上位に同じプライバシを持つことを示す。
  論文  参考訳（メタデータ） (2024-08-19T23:57:31Z)
• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。