論文の概要: Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even
for Non-Convex Losses
- arxiv url: http://arxiv.org/abs/2305.09903v1
- Date: Wed, 17 May 2023 02:25:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 17:42:17.769957
- Title: Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even
for Non-Convex Losses
- Title（参考訳）: 非凸損失においても, 雑音性確率勾配モードのプライバシ損失
- Authors: Shahab Asoodeh and Mario Diaz
- Abstract要約: Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。
最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。
DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
- 参考スコア（独自算出の注目度）: 4.68299658663016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Noisy-SGD algorithm is widely used for privately training machine
learning models. Traditional privacy analyses of this algorithm assume that the
internal state is publicly revealed, resulting in privacy loss bounds that
increase indefinitely with the number of iterations. However, recent findings
have shown that if the internal state remains hidden, then the privacy loss
might remain bounded. Nevertheless, this remarkable result heavily relies on
the assumption of (strong) convexity of the loss function. It remains an
important open problem to further relax this condition while proving similar
convergent upper bounds on the privacy loss. In this work, we address this
problem for DP-SGD, a popular variant of Noisy-SGD that incorporates gradient
clipping to limit the impact of individual samples on the training process. Our
findings demonstrate that the privacy loss of projected DP-SGD converges
exponentially fast, without requiring convexity or smoothness assumptions on
the loss function. In addition, we analyze the privacy loss of regularized
(unprojected) DP-SGD. To obtain these results, we directly analyze the
hockey-stick divergence between coupled stochastic processes by relying on
non-linear data processing inequalities.
- Abstract（参考訳）: Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。
このアルゴリズムの従来のプライバシ解析では、内部状態が公開されていると仮定し、イテレーション数に無期限に増加するプライバシ領域が発生する。
しかし、最近の調査結果は、内部状態が隠れている場合、プライバシーの損失は境界を保っている可能性があることを示している。
それでも、この顕著な結果は損失関数の(強い)凸性の仮定に大きく依存している。
この条件をさらに緩和する上で重要なオープン問題であり、プライバシーの喪失についても同様の収束限界が証明されている。
本研究では,個々のサンプルがトレーニングプロセスに与える影響を制限するために,勾配クリッピングを組み込んだノイズsgdの一般的な変種であるdp-sgdについて,この問題に対処する。
その結果,DP-SGDのプライバシー損失は,損失関数の凸性や滑らかさの仮定を必要とせず,指数関数的に収束することがわかった。
さらに,DP-SGDの正規化(未計画)のプライバシー損失を分析した。
これらの結果を得るために,非線形データ処理の不等式に依拠して,結合確率過程間のホッケースティックの発散を直接解析する。
関連論文リスト
- Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness [16.303040664382138]
有界領域上の隠れ状態雑音-SGDアルゴリズムの差分プライバシー(DP)保証について検討する。
我々は非滑らかな非滑らかな損失に対して収束R'enyi DPを証明した。
我々はまた、滑らかな凸損失に対する最先端の結果と比較して、厳格に優れたプライバシー境界を提供する。
論文 参考訳（メタデータ） (2024-10-01T20:52:08Z) - It's Our Loss: No Privacy Amplification for Hidden State DP-SGD With Non-Convex Loss [0.76146285961466]
特定の損失関数に対して、DP-SGDの最終繰り返しは、最終損失関数と同じくらい多くの情報をリークすることを示す。
DP-SGDは一般にすべての(非)損失関数に対してプライバシーの増幅は不可能である。
論文 参考訳（メタデータ） (2024-07-09T01:58:19Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - A Differentially Private Framework for Deep Learning with Convexified
Loss Functions [4.059849656394191]
差分プライバシー(DP)は、基礎となるトレーニングセットのプライバシーを保護するためにディープラーニングに応用されている。
既存のDP実践は、客観的摂動、勾配摂動、出力摂動の3つのカテゴリに分類される。
本稿では,DPノイズをランダムにサンプリングしたニューロンに注入し,新しい出力摂動機構を提案する。
論文 参考訳（メタデータ） (2022-04-03T11:10:05Z) - Differentially Private Learning Needs Hidden State (Or Much Faster
Convergence) [9.429448411561541]
差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。
私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
論文 参考訳（メタデータ） (2022-03-10T13:31:08Z) - Differentially Private SGDA for Minimax Problems [83.57322009102973]
本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。
これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
論文 参考訳（メタデータ） (2022-01-22T13:05:39Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient
Descent [10.409652277630132]
我々はLangevin拡散におけるプライバシー損失のダイナミクスをモデル化し、ノイズ勾配降下アルゴリズムに拡張する。
プライバシーの損失は指数関数的に速く収束する。
論文 参考訳（メタデータ） (2021-02-11T05:49:37Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳（メタデータ） (2020-07-04T09:51:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。