論文の概要: Less Random, More Private: What is the Optimal Subsampling Scheme for DP-SGD?

• arxiv url: http://arxiv.org/abs/2605.07072v1
• Date: Fri, 08 May 2026 00:47:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.698785
• Title: Less Random, More Private: What is the Optimal Subsampling Scheme for DP-SGD?
• Title（参考訳）: DP-SGDの最適サブサンプリング方式は何か?
• Authors: Andy Dong, Ayfer Özgür,
• Abstract要約: Balanced It Subsampling (BIS)はPoisson Subsamplingよりも強力なプライバシー増幅を実現し,ノイズスペクトルの両極端において最適であることを示す。 本稿では,BISのモンテカルロ会計を実践的に導入し,既存のPLD分析のスラックを除去する手法を提案する。
• 参考スコア（独自算出の注目度）: 14.158845925610438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Poisson subsampling is the default sampling scheme in differentially private machine learning, largely because its unstructured randomness yields tractable privacy amplification analyses. Yet this same randomness introduces substantial participation variance: each sample appears in very different numbers of training iterations. In this work, we show that this variance is not merely a practical artifact to be tolerated, but a fundamental source of suboptimal privacy amplification. We prove that Balanced Iteration Subsampling (BIS), a structured scheme in which each sample participates in exactly a fixed number of iterations, achieves stronger privacy amplification than Poisson subsampling and is optimal at both extremes of the noise spectrum ($σ\to 0$ and $σ\to \infty$). Our analysis reveals that the privacy-noise tradeoff is governed not by maximizing randomness, but by eliminating participation variance while preserving uniform marginal participation across iterations. To translate this asymptotic theory into finite-noise guarantees, we introduce a practical near-exact Monte Carlo accountant for BIS, which removes the analytical slack of existing RDP and composition-based PLD analyses. Evaluations across more than 60 practical DP-SGD configurations show that BIS consistently outperforms Poisson subsampling in the low-noise regimes most relevant for high-utility private training, reducing the required noise multiplier by up to $9.6\%$. These results overturn the common intuition that more sampling randomness necessarily yields stronger privacy amplification: in DP-SGD, structured participation can be both more practical and more private. Our implementation is available at https://github.com/dong-xin-ao-andy/bis-mc-accountant.
• Abstract（参考訳）: ポアソン・サブサンプリングは、非構造化のランダム性は、抽出可能なプライバシー増幅分析をもたらすため、微分プライベート機械学習におけるデフォルトのサンプリングスキームである。 しかし、同じランダム性は、かなりの参加分散をもたらします。各サンプルは、トレーニングイテレーションの非常に異なる数に現れます。 本研究は,この分散が許容すべき実用的成果物であるだけでなく,最適下層プライバシーの増幅の根本的源であることを示す。 各サンプルが正確に固定されたイテレーション数に参加する構造的スキームであるBa balanced Iteration Subsampling (BIS)は、Poisson subsamplingよりも強いプライバシー増幅を実現し、ノイズスペクトル(σ\to 0$および$σ\to \infty$)の両極端で最適であることを示す。 分析の結果,プライバシとノイズのトレードオフは,ランダム性の最大化ではなく,反復間の一様辺縁参加を保ちながら,参加のばらつきを排除して管理されていることが明らかとなった。 この漸近理論を有限ノイズ保証に変換するために,既存のRDPの解析的欠陥を除去し,合成に基づくPLD分析を行う,BISのための実測に近いモンテカルロ会計法を導入する。 60以上の実用的なDP-SGD構成で評価すると、BISは低騒音の制度におけるポアソンのサブサンプリングを常に上回り、必要なノイズ乗算器を9.6 %$まで削減している。 DP-SGDでは、構造化された参加はより実用的でプライベートなものになり得る。 実装はhttps://github.com/dong-xin-ao-andy/bis-mc-accountant.comで公開しています。

関連論文リスト

• Efficient privacy loss accounting for subsampling and random allocation [13.186391867041394]
  本研究では,ユーザのデータをランダムなステップで使用するサンプリング方式のプライバシアンプリフィケーション特性について考察する。 ランダムなアロケーションのためのプライバシユーティリティのトレードオフは、少なくともPoissonサブサンプリングのそれと同程度であることを示す。
  論文  参考訳（メタデータ） (2026-02-19T11:44:25Z)
• LoRA and Privacy: When Random Projections Help (and When They Don't) [55.65932772290123]
  我々は、$S mapto M f(S)$ with $M sim W_d (1/r I_d, r)$という形のランダムマップである(ウィッシュアート)プロジェクション機構を導入し、その差分プライバシー特性について検討する。 ベクトル値が$f$の場合、付加雑音のない非漸近DP保証を証明し、ウィッシュアートのランダム性だけで十分であることを示す。 しかし,行列値クエリでは,ノイズフリーな環境では,そのメカニズムはDPではなく,その脆弱性を実証する。
  論文  参考訳（メタデータ） (2026-01-29T13:43:37Z)
• Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD [7.787109481104569]
  本稿では,DP-SGDを$f$差分プライバシーフレームワークで解析する。 小さい分離を強制することはノイズ乗算器$$に厳格な下限を課し、達成可能な効用を直接制限することを証明する。 実験により, この境界による雑音レベルは, 現実的な訓練環境において, 高い精度で劣化することが確認された。
  論文  参考訳（メタデータ） (2026-01-15T09:50:36Z)
• Improved Sample Complexity for Full Coverage in Compact and Continuous Spaces [0.0]
  我々は$d$次元単位ハイパーキューブにおける一様ランダムサンプリングについて検討した。 故障確率に対数依存するサンプル複雑性を導出する。 我々の発見は、グリッドベースのカバレッジ保証に依存するアルゴリズムに対して、よりシャープな理論的ツールを提供する。
  論文  参考訳（メタデータ） (2025-11-21T21:06:14Z)
• The Cost of Shuffling in Private Gradient Based Optimization [40.31928071333575]
  その結果, DP-ShuffleGはDP-SGDと比較して, データのシャッフル処理により過大なリスクが生じることがわかった。 我々は、プライベートな最適化に公開データサンプルを統合するハイブリッドアプローチである textitInterleaved-ShuffleG を提案する。
  論文  参考訳（メタデータ） (2025-02-05T22:30:00Z)
• Balls-and-Bins Sampling for DP-SGD [56.959167524617456]
  本稿では,DP-SGD などのDP最適化手法に対する Balls-and-Bins サンプリングを提案する。 我々は,Balls-and-Binsサンプリングが,Balls-and-Binsサンプリングの実装をShufflingと類似した「ベスト・オブ・ボトム」サンプリングを実現することを示す。
  論文  参考訳（メタデータ） (2024-12-21T23:09:14Z)
• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。