論文の概要: Differential Private Hogwild! over Distributed Local Data Sets

• arxiv url: http://arxiv.org/abs/2102.09030v1
• Date: Wed, 17 Feb 2021 21:19:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-20 01:34:08.291371
• Title: Differential Private Hogwild! over Distributed Local Data Sets
• Title（参考訳）: Differential Private Hogwild! 分散ローカルデータセットを乗り越える
• Authors: Marten van Dijk, Nhuong V. Nguyen, Toan N. Nguyen, Lam M. Nguyen and Phuong Ha Nguyen
• Abstract要約: 私たちはHogwildを検討します! Gaussian based Differential Privacy (DP) を使用して、クライアントがローカル SGD イテレーションを使用する設定。 ローカルデータセットが $(epsilon,delta)$-dp であるようなサンプルサイズシーケンスの広いクラスに対して、中央サーバとのラウンドインタラクション毎に付加されたガウスノイズの標準偏差 $sigma$ が少なくとも $sqrt2(epsilon+ ln (1/delta)/epsilon$ であることを示す。
• 参考スコア（独自算出の注目度）: 23.042896679688088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the Hogwild! setting where clients use local SGD iterations with Gaussian based Differential Privacy (DP) for their own local data sets with the aim of (1) jointly converging to a global model (by interacting at a round to round basis with a centralized server that aggregates local SGD updates into a global model) while (2) keeping each local data set differentially private with respect to the outside world (this includes all other clients who can monitor client-server interactions). We show for a broad class of sample size sequences (this defines the number of local SGD iterations for each round) that a local data set is $(\epsilon,\delta)$-DP if the standard deviation $\sigma$ of the added Gaussian noise per round interaction with the centralized server is at least $\sqrt{2(\epsilon+ \ln(1/\delta))/\epsilon}$.
• Abstract（参考訳）: 私たちはHogwildを検討します! クライアントがガウシアンベースの差分プライバシー(DP)を使用してローカルSGDイテレーションを使用する設定は、(1)グローバルモデル(ローカルSGD更新をグローバルモデルに集約する集中型サーバーと一丸となって対話することによって)に共同で収束し、(2)各ローカルデータセットを外部世界(クライアントとサーバーのインタラクションを監視できる他のすべてのクライアントを含む)に対して差分プライベートに保つことを目的としています。 局所データセットが$(\epsilon,\delta)$-dp であるようなサンプルサイズシーケンスの広いクラス(各ラウンドの局所 sgd イテレーションの数を定義する)に対して、中央サーバとのラウンドインタラクション毎に付加されたガウスノイズの標準偏差 $\sigma$ が少なくとも $\sqrt{2(\epsilon+ \ln(1/\delta))/\epsilon}$ であることを示す。

関連論文リスト

• Optimal Rates for $O(1)$-Smooth DP-SCO with a Single Epoch and Large Batches [12.184984662899868]
  相関凸最適化(SCO)問題を再考する。 DP-SCO(ポリログ因子まで)の最適速度を1つのエポックで達成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-04T18:59:42Z)
• Private Mean Estimation with Person-Level Differential Privacy [6.621676316292624]
  複数のサンプルを持つ場合の個人レベルの個人別平均推定について検討した。 我々は、計算効率のよいアルゴリズムを、純粋DPで、計算効率の悪いアルゴリズムを、ほぼ一致する下界は、近似DPの最も寛容な場合を抑える。
  論文  参考訳（メタデータ） (2024-05-30T18:20:35Z)
• PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
  そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。 この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-05-04T11:22:53Z)
• Differential Privacy with Random Projections and Sign Random Projections [37.6593006747285]
  iDP-SignRPは個人差分プライバシ設定(iDP)において極めて効果的である DP-SignOPORPは、標準のDP設定の下で既存のアルゴリズムを大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-22T16:33:23Z)
• Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
  この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。 我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
  論文  参考訳（メタデータ） (2022-12-01T15:57:58Z)
• Differentially Private Image Classification from Features [53.75086935617644]
  転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
  論文  参考訳（メタデータ） (2022-11-24T04:04:20Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Differentially Private Exploration in Reinforcement Learning with Linear Representation [102.17246636801649]
  まず,線形混合MDP(Ayob et al., 2020)の設定(モデルベース設定)について検討し,共同・局所微分プライベート(DP)探索を統一的に分析するための枠組みを提供する。 我々はさらに、線形MDP(Jin et al., 2020)におけるプライバシー保護探索(つまりモデルフリー設定)について研究し、$widetildeO(sqrtK/epsilon)$ regret bound for $(epsilon,delta)を提供する。
  論文  参考訳（メタデータ） (2021-12-02T19:59:50Z)
• Reward-Free Model-Based Reinforcement Learning with Linear Function Approximation [92.99933928528797]
  エピソードマルコフ決定過程(MDP)に対する線形関数近似を用いたモデルに基づく無報酬強化学習について検討する。 計画段階では、特定の報酬関数が与えられ、探索フェーズから収集したサンプルを使用して良い政策を学ぶ。 任意の報酬関数に対して$epsilon$-optimal Policyを得るには,最大$tilde O(H4d(H + d)epsilon-2)$ episodesをサンプリングする必要がある。
  論文  参考訳（メタデータ） (2021-10-12T23:03:58Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。