論文の概要: Rethinking the Security of DP-SGD: A Corrected Analysis of Differentially Private Machine Learning

• arxiv url: http://arxiv.org/abs/2605.15648v1
• Date: Fri, 15 May 2026 06:04:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 17:44:16.304291
• Title: Rethinking the Security of DP-SGD: A Corrected Analysis of Differentially Private Machine Learning
• Title（参考訳）: DP-SGDのセキュリティを再考する: 微分プライベート機械学習の正解分析
• Authors: Wenhao Wang, Shujie Cui, Hui Cui, Xingliang Yuan,
• Abstract要約: Differentially Private Gradient Descent (DP-SGD)は機械学習のトレーニングデータを保護するために広く使われている。 我々は,DP-SGD のプライバシー保証を,期待平均 SGM と Batch平均 SGM の定式化に基づいて再解析する。 我々の理論的結果は、これらの保証が標準のSGMベースの保証よりも弱いことを示し、これは真のプライバシー漏洩が一部の政権で報告された保証を上回る可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 16.83879548734828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) is widely used to protect training data in machine learning. Its privacy guarantee is commonly analyzed through a security game in which an adversary infers whether a target record is included in the training dataset from the mechanism output. The resulting privacy leakage is characterized by a privacy curve, which reports the false negative rate as a function of the false positive rate. We identify a mismatch between this formal analysis and common DP-SGD implementations. Existing analyses often model DP-SGD and its variants as the Subsampled Gaussian Mechanism (SGM), where Gaussian noise is added to the sum of clipped gradients computed from a Poisson-sampled batch. In practice, however, many implementations apply an additional normalization step: the noisy gradient sum is divided either by the expected batch size or by the sampled batch size. These mechanisms are therefore better formalized as the Expected-Averaged SGM (EASGM) or the Batch-Averaged SGM (ASGM), respectively. We re-analyze the privacy guarantees of DP-SGD under the EASGM and ASGM formulations. Our theoretical results show that these guarantees can be weaker than the standard SGM-based guarantee, implying that the true privacy leakage may exceed the reported guarantee in some regimes. We further audit four state-of-the-art DP-SGD implementations, including Meta's Opacus library, and observe empirical leakage beyond the SGM-based guarantees. Finally, we audit Opacus versions v0.9.0 to v1.5.4 and derive a corrected privacy guarantee for the latest implementation.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DP-SGD)は機械学習のトレーニングデータを保護するために広く使われている。 そのプライバシー保証は、その機構出力からトレーニングデータセットにターゲットレコードが含まれているかどうかを敵が推測するセキュリティゲームを通じて一般的に分析される。 結果として生じるプライバシー漏洩は、偽陰性率を偽陽性率の関数として報告するプライバシー曲線によって特徴づけられる。 この形式解析とDP-SGD実装のミスマッチを同定する。 既存の分析は、しばしばDP-SGDとその変種をサブサンプリングガウス機構(SGM)としてモデル化し、ガウスノイズをポアソンサンプリングバッチから計算したクリッピング勾配の和に追加する。 ノイズ勾配の和は、期待されるバッチサイズまたはサンプリングされたバッチサイズによって分割される。 したがって、これらの機構は、それぞれ予測平均SGM(EASGM)またはバッチ平均SGM(ASGM)としてより形式化されている。 EASGMとASGMの定式化の下で,DP-SGDのプライバシー保証を再分析する。 我々の理論的結果は、これらの保証が標準のSGMベースの保証よりも弱いことを示し、これは真のプライバシー漏洩が一部の政権で報告された保証を上回る可能性があることを示唆している。 我々はさらに,MetaのOpacusライブラリを含む,最先端のDP-SGD実装4つを監査し,SGMベースの保証以上の経験的漏洩を観察する。 最後に、Opacusのバージョンv0.9.0からv1.5.4を監査し、最新の実装に対する修正されたプライバシ保証を導出する。

関連論文リスト

• Gaussian DP for Reporting Differential Privacy Guarantees in Machine Learning [27.52540933835594]
  機械学習(ML)アルゴリズムの差分プライバシーレベルを報告するための現在のプラクティスは、プライバシー保証の不完全で、潜在的に誤解を招く可能性がある。 我々は、非漸近的ガウス微分プライバシー(GDP)をMLにおけるDP保証を伝える主要な手段として使うことは、これらの潜在的な欠点を回避していると論じる。 本稿では,数値会計士を用いてGDPに非漸近的境界を与える方法を示し,GDPがDP-SGDおよび関連するアルゴリズムのプライバシープロファイル全体を,基準値によって定量化されているように,ほとんど誤差なくキャプチャできることを示す。
  論文  参考訳（メタデータ） (2025-03-13T23:06:30Z)
• To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
  Differentially Private Gradient Descent (DP-SGD)アルゴリズムは、正式な差分プライバシー(DP)を保証する機械学習(ML)モデルのトレーニングを可能にする。 互換性と計算オーバーヘッドが向上するため、サブサンプリングをシャッフルに置き換えることが一般的になった。 本稿では,DP-SGDをシャッフル処理により解析する新しいDP監査手法を提案する。
  論文  参考訳（メタデータ） (2024-11-15T22:34:28Z)
• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。