論文の概要: Statistical Inference for Differentially Private Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2507.20560v1
- Date: Mon, 28 Jul 2025 06:45:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:57.890095
- Title: Statistical Inference for Differentially Private Stochastic Gradient Descent
- Title（参考訳）: 個人別確率勾配の統計的推測
- Authors: Xintao Xia, Linjun Zhang, Zhanrui Cai,
- Abstract要約: 本稿では,既存統計手法とDP-SGDとのギャップを埋める。
DP-SGDの出力に対して, 分散は統計的, サンプリング, プライバシによって引き起こされる成分に分解されることを示す。
有効な信頼区間を構築するために,プラグイン法とランダムスケーリング法という2つの手法を提案する。
- 参考スコア（独自算出の注目度）: 14.360996967498002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy preservation in machine learning, particularly through Differentially Private Stochastic Gradient Descent (DP-SGD), is critical for sensitive data analysis. However, existing statistical inference methods for SGD predominantly focus on cyclic subsampling, while DP-SGD requires randomized subsampling. This paper first bridges this gap by establishing the asymptotic properties of SGD under the randomized rule and extending these results to DP-SGD. For the output of DP-SGD, we show that the asymptotic variance decomposes into statistical, sampling, and privacy-induced components. Two methods are proposed for constructing valid confidence intervals: the plug-in method and the random scaling method. We also perform extensive numerical analysis, which shows that the proposed confidence intervals achieve nominal coverage rates while maintaining privacy.
- Abstract（参考訳）: 特にDP-SGDによる機械学習におけるプライバシー保護は、機密データ解析において重要である。
しかし、SGDの既存の統計的推測手法は、主にサイクリックサブサンプリングに焦点を当て、DP-SGDはランダム化サブサンプリングを必要とする。
本稿ではまず,SGDの漸近特性をランダム化規則で確立し,これらの結果をDP-SGDに拡張することによって,このギャップを埋める。
DP-SGDの出力に対して, 漸近的分散は統計的, サンプリング, プライバシによって引き起こされる成分に分解されることを示す。
有効な信頼区間を構築するために,プラグイン法とランダムスケーリング法という2つの手法を提案する。
また、広範囲な数値解析を行い、提案した信頼区間が、プライバシーを維持しつつ、名目的なカバレッジ率を達成することを示す。
関連論文リスト
- Second-Order Convergence in Private Stochastic Non-Convex Optimization [28.00987194971941]
微分プライベート(DP)非次元同定最適化における2次定常点(SOS)の探索問題について検討する。
既存手法はサドル点エスケープ解析における勾配変動による不正確な収束誤差に悩まされている。
我々は,先行研究で報告された収束誤差を補正する新しいDPアルゴリズムを開発した。
論文 参考訳（メタデータ） (2025-05-21T15:25:23Z) - Private Statistical Estimation via Truncation [2.3910125679710665]
データトランケーションによる個人統計推定のための新しいフレームワークを導入し、データサポートが非有界である場合のDP推定における重要な課題に対処する。
計算効率の良いDP推定器を開発した。
論文 参考訳（メタデータ） (2025-05-18T20:38:38Z) - On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。
本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。
本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
論文 参考訳（メタデータ） (2024-12-27T20:29:47Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Differentially Private SGDA for Minimax Problems [83.57322009102973]
本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。
これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
論文 参考訳（メタデータ） (2022-01-22T13:05:39Z) - Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。
本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
論文 参考訳（メタデータ） (2021-12-01T21:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。