論文の概要: On the Tightness of the Moment Accountant for DP-SGD

• arxiv url: http://arxiv.org/abs/2102.09030v8
• Date: Tue, 30 May 2023 04:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 03:37:58.460997
• Title: On the Tightness of the Moment Accountant for DP-SGD
• Title（参考訳）: DP-SGDにおけるモーメント会計士の身長について
• Authors: Marten van Dijk, Nhuong V. Nguyen, Toan N. Nguyen, Lam M. Nguyen and Phuong Ha Nguyen
• Abstract要約: DP-SGD is $(epsilonleq 1/2,delta=1/N)$-DP if $sigma=sqrt2(epsilon +ln (1/delta)/epsilon$ with $T$ at least $approx 2k2/epsilon$ and $(2/e)2k2-1/2geq ln(N)$。 我が家
• 参考スコア（独自算出の注目度）: 19.9967594836805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In order to provide differential privacy, Gaussian noise with standard deviation $\sigma$ is added to local SGD updates after performing a clipping operation in Differential Private SGD (DP-SGD). By non-trivially improving the moment account method we prove a closed form $(\epsilon,\delta)$-DP guarantee: DP-SGD is $(\epsilon\leq 1/2,\delta=1/N)$-DP if $\sigma=\sqrt{2(\epsilon +\ln(1/\delta))/\epsilon}$ with $T$ at least $\approx 2k^2/\epsilon$ and $(2/e)^2k^2-1/2\geq \ln(N)$, where $T$ is the total number of rounds, and $K=kN$ is the total number of gradient computations where $k$ measures $K$ in number of epochs of size $N$ of the local data set. We prove that our expression is close to tight in that if $T$ is more than a constant factor $\approx 8$ smaller than the lower bound $\approx 2k^2/\epsilon$, then the $(\epsilon,\delta)$-DP guarantee is violated. Choosing the smallest possible value $T\approx 2k^2/\epsilon$ not only leads to a close to tight DP guarantee, but also minimizes the total number of communicated updates and this means that the least amount of noise is aggregated into the global model and in addition accuracy is optimized as confirmed by simulations.
• Abstract（参考訳）: 差分プライバシーを提供するために、差分プライベートSGD(DP-SGD)でクリップ操作を行った後、ローカルSGD更新に標準偏差$\sigma$を付加する。 dp-sgd が $(\epsilon\leq 1/2,\delta=1/n)$-dp if $\sigma=\sqrt{2(\epsilon +\ln(1/\delta))/\epsilon}$ with $t$ at $\approx 2k^2/\epsilon$ and $(2/e)^2-1/2\geq \ln(n)$, ここで $t$ はラウンドの総数であり、$k=kn$ は、$n$n$n$n$n$ である。 我々の式は、もし$T$が下限の$\approx 2k^2/\epsilon$よりも小さい$\approx 8$であるなら、$(\epsilon,\delta)$-DPの保証は破られる。 最小の可能な値を$T\approx 2k^2/\epsilon$を選択すると、厳密なDP保証が得られるだけでなく、通信された更新の総数も最小になる。

関連論文リスト

• Optimal Rates for $O(1)$-Smooth DP-SCO with a Single Epoch and Large Batches [12.184984662899868]
  相関凸最適化(SCO)問題を再考する。 DP-SCO(ポリログ因子まで)の最適速度を1つのエポックで達成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-04T18:59:42Z)
• Private Mean Estimation with Person-Level Differential Privacy [6.621676316292624]
  複数のサンプルを持つ場合の個人レベルの個人別平均推定について検討した。 我々は、計算効率のよいアルゴリズムを、純粋DPで、計算効率の悪いアルゴリズムを、ほぼ一致する下界は、近似DPの最も寛容な場合を抑える。
  論文  参考訳（メタデータ） (2024-05-30T18:20:35Z)
• PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
  そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。 この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-05-04T11:22:53Z)
• Differential Privacy with Random Projections and Sign Random Projections [37.6593006747285]
  iDP-SignRPは個人差分プライバシ設定(iDP)において極めて効果的である DP-SignOPORPは、標準のDP設定の下で既存のアルゴリズムを大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-22T16:33:23Z)
• Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
  この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。 我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
  論文  参考訳（メタデータ） (2022-12-01T15:57:58Z)
• Differentially Private Image Classification from Features [53.75086935617644]
  転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
  論文  参考訳（メタデータ） (2022-11-24T04:04:20Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private Exploration in Reinforcement Learning with Linear Representation [102.17246636801649]
  まず,線形混合MDP(Ayob et al., 2020)の設定(モデルベース設定)について検討し,共同・局所微分プライベート(DP)探索を統一的に分析するための枠組みを提供する。 我々はさらに、線形MDP(Jin et al., 2020)におけるプライバシー保護探索(つまりモデルフリー設定)について研究し、$widetildeO(sqrtK/epsilon)$ regret bound for $(epsilon,delta)を提供する。
  論文  参考訳（メタデータ） (2021-12-02T19:59:50Z)
• Reward-Free Model-Based Reinforcement Learning with Linear Function Approximation [92.99933928528797]
  エピソードマルコフ決定過程(MDP)に対する線形関数近似を用いたモデルに基づく無報酬強化学習について検討する。 計画段階では、特定の報酬関数が与えられ、探索フェーズから収集したサンプルを使用して良い政策を学ぶ。 任意の報酬関数に対して$epsilon$-optimal Policyを得るには,最大$tilde O(H4d(H + d)epsilon-2)$ episodesをサンプリングする必要がある。
  論文  参考訳（メタデータ） (2021-10-12T23:03:58Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。