論文の概要: Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness

• arxiv url: http://arxiv.org/abs/2410.01068v1
• Date: Tue, 1 Oct 2024 20:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 23:30:27.742545
• Title: Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness
• Title（参考訳）: 凸性・平滑性のないノイズSGDの収束プライバシー損失
• Authors: Eli Chien, Pan Li,
• Abstract要約: 有界領域上の隠れ状態雑音-SGDアルゴリズムの差分プライバシー(DP)保証について検討する。 我々は非滑らかな非滑らかな損失に対して収束R'enyi DPを証明した。 我々はまた、滑らかな凸損失に対する最先端の結果と比較して、厳格に優れたプライバシー境界を提供する。
• 参考スコア（独自算出の注目度）: 16.303040664382138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the Differential Privacy (DP) guarantee of hidden-state Noisy-SGD algorithms over a bounded domain. Standard privacy analysis for Noisy-SGD assumes all internal states are revealed, which leads to a divergent R'enyi DP bound with respect to the number of iterations. Ye & Shokri (2022) and Altschuler & Talwar (2022) proved convergent bounds for smooth (strongly) convex losses, and raise open questions about whether these assumptions can be relaxed. We provide positive answers by proving convergent R'enyi DP bound for non-convex non-smooth losses, where we show that requiring losses to have H\"older continuous gradient is sufficient. We also provide a strictly better privacy bound compared to state-of-the-art results for smooth strongly convex losses. Our analysis relies on the improvement of shifted divergence analysis in multiple aspects, including forward Wasserstein distance tracking, identifying the optimal shifts allocation, and the H"older reduction lemma. Our results further elucidate the benefit of hidden-state analysis for DP and its applicability.
• Abstract（参考訳）: 有界領域上の隠れ状態雑音-SGDアルゴリズムの差分プライバシー(DP)保証について検討する。 Noisy-SGDの標準プライバシ分析では、すべての内部状態が明らかにされていると仮定しており、イテレーション数に関して異なるR'enyi DPに結びついている。 Ye & Shokri (2022) と Altschuler & Talwar (2022) は滑らかな(強く)凸損失の収束境界を証明し、これらの仮定を緩和できるかどうかというオープンな疑問を提起した。 我々は,非凸非平滑な損失に対する収束 R'enyi DP の有効性を証明し,H\ 高齢者の連続的勾配を求める損失が十分であることを示す。また,従来の結果と比較して,厳密な凸損失に対するプライバシー制限も厳格に実現している。この分析は,前方ワッサーシュタイン距離追跡,最適シフト割り当ての特定,H 高齢者還元補題など,多面的な偏差解析の改善に依存している。 本研究は,DPの隠れ状態解析の利点と適用性をさらに解明するものである。

関連論文リスト

• Noise is All You Need: Private Second-Order Convergence of Noisy SGD [15.31952197599396]
  プライバシーのために必要となるノイズは、標準の滑らか性仮定の下で既に二階収束を示唆していることが示される。 DP-SGDは、最小限の仮定の下で、二階定常点を見つけるために使用できる。
  論文  参考訳（メタデータ） (2024-10-09T13:43:17Z)
• Differential Privacy of Noisy (S)GD under Heavy-Tailed Perturbations [6.220757855114254]
  降下反復音(SGD)に重尾ノイズを注入することは,ここ数年で注目されている。 重み付き摂動を持つSGDは、(0, tildemathcalO (1/n)$ DP保証が得られることを示す。 重み付きノイズ発生機構はガウスの場合と同じようなDP保証を実現し,軽み付きノイズの代替となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-04T13:53:41Z)
• Shifted Interpolation for Differential Privacy [6.1836947007564085]
  雑音勾配降下とその変種は、微分プライベート機械学習の主要なアルゴリズムである。 本稿では、$f$差分プライバシの統一化フレームワークにおいて、"corollary によるプライバシ増幅" 現象を確立する。 これは、強力な凸最適化の基礎的な設定において、最初の正確なプライバシー分析につながる。
  論文  参考訳（メタデータ） (2024-03-01T04:50:04Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Privacy Loss of Noisy Stochastic Gradient Descent Might Converge Even for Non-Convex Losses [4.68299658663016]
  Noisy-SGDアルゴリズムは機械学習モデルのプライベートトレーニングに広く利用されている。 最近の研究によると、もし内部の状態が隠されたままなら、プライバシーの喪失は行き詰まる可能性がある。 DP-SGDは,学習過程における個々のサンプルの影響を抑えるために,勾配クリッピングを取り入れたNuisy-SGDの一般的な変種である。
  論文  参考訳（メタデータ） (2023-05-17T02:25:56Z)
• Generalised Likelihood Ratio Testing Adversaries through the Differential Privacy Lens [69.10072367807095]
  微分プライバシー(DP)は、最適な敵の能力に厳格な上限を提供する。 我々は,NPO(Neyman-Pearson-Pearson-Pearson-Pearson-Pearson-Pearson)対GLRT(Generalized Likelihood Test)対向の仮定を緩和する。 この緩やかな緩和は、プライバシー保証の改善につながる。
  論文  参考訳（メタデータ） (2022-10-24T08:24:10Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private Learning Needs Hidden State (Or Much Faster Convergence) [9.429448411561541]
  差分的にプライベートな学習は、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示す。 私たちの収束するプライバシー分析は、差異のあるプライベートな学習が、厳密な拘束力を持って、隠れた状態のプライバシ分析や、高速な収束を必要とすることを示している。
  論文  参考訳（メタデータ） (2022-03-10T13:31:08Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。