論文の概要: Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD

• arxiv url: http://arxiv.org/abs/2601.10237v1
• Date: Thu, 15 Jan 2026 09:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.090024
• Title: Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD
• Title（参考訳）: DP-SGDにおける良好なプライバシ・ユーティリティ保証の基本的制限
• Authors: Murat Bilgehan Ertan, Marten van Dijk,
• Abstract要約: 本稿では,DP-SGDを$f$差分プライバシーフレームワークで解析する。 小さい分離を強制することはノイズ乗算器$$に厳格な下限を課し、達成可能な効用を直接制限することを証明する。 実験により, この境界による雑音レベルは, 現実的な訓練環境において, 高い精度で劣化することが確認された。
• 参考スコア（独自算出の注目度）: 7.787109481104569
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the $f$-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with $M$ gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation $κ$ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small $κ$. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier $σ$, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy $σ\ge \frac{1}{\sqrt{2\ln M}}$ $\quad\text{or}\quad$ $κ\ge\ \frac{1}{\sqrt{8}}\!\left(1-\frac{1}{\sqrt{4π\ln M}}\right)$, and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as $M \to \infty$, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.
• Abstract（参考訳）: DP-SGDは個人訓練において主要なパラダイムであるが、最悪の場合のプライバシー定義の下の基本的制約はいまだに理解されていない。 我々は、DP-SGDを、仮説テストによるトレードオフ曲線によるプライバシーを特徴付ける$f$-differential privacy frameworkで分析し、100万ドルの勾配更新を伴う1つのエポック上のシャッフルサンプリングを研究する。 達成可能なトレードオフ曲線上で、明示的な最適下界を導出する。 この結果は、メカニズムのトレードオフ曲線と理想的なランダムゲスティング線の間の最大距離である分離$κ$の幾何学的下界を誘導する。 大きな分離は大きな敵の優位性をもたらすため、意味のあるプライバシは小さなκ$を必要とします。 しかし、小さな分離を強制することはガウス雑音乗算器$σ$に厳密な下界を課すことを証明し、達成可能な効用を直接制限する。 特に、標準的な最悪の逆数モデルでは、シャッフルされたDP-SGDは$σ\ge \frac{1}{\sqrt{2\ln M}}$ $\quad\text{or}\quad$$κ\ge\ \frac{1}{\sqrt{8}}\! left(1-\frac{1}{\sqrt{4π\ln M}}\right)$ なので、強力なプライバシーと高いユーティリティを同時に達成することはできない。 この境界は漸近的に$M \to \infty$として消えるが、収束は非常に遅い。 さらに、同じ制限がポアソン部分サンプリングまで一定要素にまで拡張されることが示される。 実験により,この境界によって示唆される雑音レベルが,現実的な訓練環境において顕著な精度低下をもたらすことが確認された。

関連論文リスト

• Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression [66.93988594607842]
  プライバシー制約の下では、プライベート線形回帰の複雑さは通常の共分散行列によって捉えられる。 最適率を達成するための情報重み付け回帰手法を提案する。 特に、我々の結果は、共同プライバシーは追加費用がほとんどないことを示している。
  論文  参考訳（メタデータ） (2025-02-18T18:35:24Z)
• Differentially Private Best-Arm Identification [14.916947598339988]
  ベストアーム識別(BAI)問題は、データセンシティブなアプリケーションに徐々に使われている。 これらのアプリケーションによって引き起こされるデータプライバシの懸念に触発され、ローカルモデルと中央モデルの両方に一定の信頼を保ちながら、BAIの問題を研究する。
  論文  参考訳（メタデータ） (2024-06-10T16:02:48Z)
• A Generalized Shuffle Framework for Privacy Amplification: Strengthening Privacy Guarantees and Enhancing Utility [4.7712438974100255]
  パーソナライズされたプライバシパラメータで$(epsilon_i,delta_i)$-PLDP設定をシャッフルする方法を示す。 shuffled $(epsilon_i,delta_i)$-PLDP process approximately saves $mu$-Gaussian Differential Privacy with mu = sqrtfrac2sum_i=1n frac1-delta_i1+eepsilon_i-max_ifrac1-delta_i1+e
  論文  参考訳（メタデータ） (2023-12-22T02:31:46Z)
• Private Online Prediction from Experts: Separations and Faster Rates [74.52487417350221]
  専門家によるオンライン予測は機械学習の基本的な問題であり、いくつかの研究がプライバシーの制約の下でこの問題を研究している。 本研究では,非適応的敵に対する最良な既存アルゴリズムの残差を克服する新たなアルゴリズムを提案し,解析する。
  論文  参考訳（メタデータ） (2022-10-24T18:40:19Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
  雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。 私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
  論文  参考訳（メタデータ） (2021-03-01T19:48:44Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• Output Perturbation for Differentially Private Convex Optimization with Improved Population Loss Bounds, Runtimes and Applications to Private Adversarial Training [12.386462516398469]
  強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。 我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。 我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
  論文  参考訳（メタデータ） (2021-02-09T08:47:06Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。