論文の概要: Proactive DP: A Multple Target Optimization Framework for DP-SGD
- arxiv url: http://arxiv.org/abs/2102.09030v9
- Date: Fri, 24 Nov 2023 11:25:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 05:17:28.346783
- Title: Proactive DP: A Multple Target Optimization Framework for DP-SGD
- Title（参考訳）: Proactive DP:DP-SGDのための多目的最適化フレームワーク
- Authors: Marten van Dijk, Nhuong V. Nguyen, Toan N. Nguyen, Lam M. Nguyen and
Phuong Ha Nguyen
- Abstract要約: 本稿では,プロアクティブDPと呼ばれるDP-SGDの多目的最適化フレームワークを提案する。
プロアクティブDP方式では、固定されたプライバシー予算に基づいてDP-SGDのパラメータをa-prioriに選択することができる。
DP-SGDセットアップの全てのパラメータを接続するクローズドフォーム$(epsilon,delta)$-DP保証を提供する。
- 参考スコア（独自算出の注目度）: 22.663029794467768
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a multiple target optimization framework for DP-SGD referred to
as pro-active DP. In contrast to traditional DP accountants, which are used to
track the expenditure of privacy budgets, the pro-active DP scheme allows one
to {\it a-priori} select parameters of DP-SGD based on a fixed privacy budget
(in terms of $\epsilon$ and $\delta$) in such a way to optimize the anticipated
utility (test accuracy) the most. To achieve this objective, we first propose
significant improvements to the moment account method, presenting a closed-form
$(\epsilon,\delta)$-DP guarantee that connects all parameters in the DP-SGD
setup. Generally, DP-SGD is $(\epsilon\leq 1/2,\delta=1/N)$-DP if
$\sigma=\sqrt{2(\epsilon +\ln(1/\delta))/\epsilon}$ with $T$ at least $\approx
2k^2/\epsilon$ and $(2/e)^2k^2-1/2\geq \ln(N)$, where $T$ is the total number
of rounds, and $K=kN$ is the total number of gradient computations where $k$
measures $K$ in number of epochs of size $N$ of the local data set. We prove
that our expression is close to tight in that if $T$ is more than a constant
factor $\approx 4$ smaller than the lower bound $\approx 2k^2/\epsilon$, then
the $(\epsilon,\delta)$-DP guarantee is violated. Our enhanced DP theory allows
us to create a utility graph and DP calculator. These tools link privacy and
utility objectives and search for optimal experiment setups, efficiently taking
into account both accuracy and privacy objectives, as well as implementation
goals. We furnish a comprehensive implementation flow of our proactive DP, with
rigorous experiments to showcase the proof-of-concept.
- Abstract（参考訳）: 本稿では,プロアクティブDPと呼ばれるDP-SGDの多目的最適化フレームワークを提案する。
プライバシー予算の支出を追跡するのに使用される従来のDP会計士とは対照的に、DP-SGDのパラメータを固定されたプライバシー予算($\epsilon$と$\delta$)に基づいて選択することで、期待されるユーティリティ(テスト精度)を最大限に最適化することができる。
この目的を達成するために、まず、DP-SGDセットアップの全てのパラメータを接続するクローズドフォーム$(\epsilon,\delta)$-DP保証を提示するモーメントアカウント手法の大幅な改善を提案する。
一般的に、dp-sgd は $(\epsilon\leq 1/2,\delta=1/n)$-dp if $\sigma=\sqrt{2(\epsilon +\ln(1/\delta))/\epsilon}$ であり、$t$ は少なくとも $\approx 2k^2/\epsilon$ と $(2/e)^2k^2-1/2\geq \ln(n)$ である。
私たちは、もし$t$が下限の$\approx 2k^2/\epsilon$よりも約4$小さい定数因子であるなら、$(\epsilon,\delta)$-dp保証が破られるという、我々の式が厳密なものであることを証明します。
拡張DP理論により、ユーティリティグラフとDP電卓を作成することができる。
これらのツールは、プライバシとユーティリティの目的をリンクし、最適な実験環境を探し出し、正確性とプライバシの両方の目標と実装の目標を効率的に考慮します。
我々はプロアクティブdpの包括的な実装フローを提供し,概念実証を示すための厳密な実験を行った。
関連論文リスト
- Optimal Rates for $O(1)$-Smooth DP-SCO with a Single Epoch and Large Batches [12.184984662899868]
相関凸最適化(SCO)問題を再考する。
DP-SCO(ポリログ因子まで)の最適速度を1つのエポックで達成するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-04T18:59:42Z) - Private Mean Estimation with Person-Level Differential Privacy [6.621676316292624]
複数のサンプルを持つ場合の個人レベルの個人別平均推定について検討した。
我々は、計算効率のよいアルゴリズムを、純粋DPで、計算効率の悪いアルゴリズムを、ほぼ一致する下界は、近似DPの最も寛容な場合を抑える。
論文 参考訳（メタデータ） (2024-05-30T18:20:35Z) - PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。
この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
論文 参考訳（メタデータ） (2024-05-04T11:22:53Z) - Differential Privacy with Random Projections and Sign Random Projections [37.6593006747285]
iDP-SignRPは個人差分プライバシ設定(iDP)において極めて効果的である
DP-SignOPORPは、標準のDP設定の下で既存のアルゴリズムを大幅に改善する。
論文 参考訳（メタデータ） (2023-05-22T16:33:23Z) - Near Sample-Optimal Reduction-based Policy Learning for Average Reward
MDP [58.13930707612128]
この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。
我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
論文 参考訳（メタデータ） (2022-12-01T15:57:58Z) - Differentially Private Image Classification from Features [53.75086935617644]
転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。
最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
論文 参考訳（メタデータ） (2022-11-24T04:04:20Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Differentially Private Exploration in Reinforcement Learning with Linear
Representation [102.17246636801649]
まず,線形混合MDP(Ayob et al., 2020)の設定(モデルベース設定)について検討し,共同・局所微分プライベート(DP)探索を統一的に分析するための枠組みを提供する。
我々はさらに、線形MDP(Jin et al., 2020)におけるプライバシー保護探索(つまりモデルフリー設定)について研究し、$widetildeO(sqrtK/epsilon)$ regret bound for $(epsilon,delta)を提供する。
論文 参考訳（メタデータ） (2021-12-02T19:59:50Z) - Reward-Free Model-Based Reinforcement Learning with Linear Function
Approximation [92.99933928528797]
エピソードマルコフ決定過程(MDP)に対する線形関数近似を用いたモデルに基づく無報酬強化学習について検討する。
計画段階では、特定の報酬関数が与えられ、探索フェーズから収集したサンプルを使用して良い政策を学ぶ。
任意の報酬関数に対して$epsilon$-optimal Policyを得るには,最大$tilde O(H4d(H + d)epsilon-2)$ episodesをサンプリングする必要がある。
論文 参考訳（メタデータ） (2021-10-12T23:03:58Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。