Fugu-MT 論文翻訳(概要): Tight Group-Level DP Guarantees for DP-SGD with Sampling via Mixture of Gaussians Mechanisms

論文の概要: Tight Group-Level DP Guarantees for DP-SGD with Sampling via Mixture of Gaussians Mechanisms

arxiv url: http://arxiv.org/abs/2401.10294v1
Date: Wed, 17 Jan 2024 23:07:59 GMT
ステータス: 処理完了
システム内更新日: 2024-01-22 18:07:42.621653
Title: Tight Group-Level DP Guarantees for DP-SGD with Sampling via Mixture of Gaussians Mechanisms
Title（参考訳）: ガウス機構の混合によるサンプリングによるDP-SGDの高次グループレベルDP保証
Authors: Arun Ganesh
Abstract要約: 本稿では,Poisson サンプリングや固定バッチサイズサンプリングを用いて,DP-SGD に対するグループレベルの $(epsilon, delta)$-DP 保証の計算手順を提案する。実装における離散化エラーに対して、この手順によって計算されたDP保証は厳密である。
参考スコア（独自算出の注目度）: 2.3720172412599525
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We give a procedure for computing group-level $(\epsilon, \delta)$-DP guarantees for DP-SGD, when using Poisson sampling or fixed batch size sampling. Up to discretization errors in the implementation, the DP guarantees computed by this procedure are tight (assuming we release every intermediate iterate).
Abstract（参考訳）: 本稿では,Poisson サンプリングや固定バッチサイズサンプリングを用いて,DP-SGD に対するグループレベルの $(\epsilon, \delta)$-DP 保証の計算手順を提案する。実装における離散化エラーに対して、この手順によって計算されたDP保証は厳密である(全ての中間イテレートをリリースした場合)。

関連論文リスト

To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
シャッフル法を用いてDP-SGDを解析した。プライバシー保証を十分に過大評価(最大4倍)することで訓練された最先端のDPモデルを示す。我々の研究は、DP-SGDの実際のプライバシー漏洩を、Poissonサブサンプリングのvis-a-visに代えてシャッフルを使用するリスクを実証的に証明している。
論文参考訳（メタデータ） (2024-11-15T22:34:28Z)
Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文参考訳（メタデータ） (2024-11-06T19:06:16Z)
How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文参考訳（メタデータ） (2024-03-26T13:02:43Z)
Randomized Response with Gradual Release of Privacy Budget [0.0]
ランダム化応答の差分プライバシー(DP)保証を徐々に緩和するアルゴリズムを開発した。各緩和からの出力は、標準ランダム化応答と同じ確率分布を保持する。緩和プロセス全体は、最新の緩和保証と同じDP保証を持つことが証明されている。
論文参考訳（メタデータ） (2024-01-25T05:18:47Z)
Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文参考訳（メタデータ） (2023-11-24T17:56:44Z)
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy [23.12198546384976]
後方サンプリングは$varepsilon$-pure差分プライバシー保証を提供する。これは、$(varepsilon,delta)$-approximate DPによって引き起こされた潜在的に束縛されていないプライバシー侵害に悩まされない。しかし実際には、マルコフ連鎖モンテカルロのような近似的なサンプリング手法を適用する必要がある。
論文参考訳（メタデータ） (2023-10-23T07:54:39Z)
Preconditioned Score-based Generative Models [49.88840603798831]
直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。 PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
論文参考訳（メタデータ） (2023-02-13T16:30:53Z)
Generalizing DP-SGD with Shuffling and Batch Clipping [21.55827140532476]
DP-SGDは、ランダムなサブサンプリングによる個別のクリッピングを実装し、ミニバッチSGDアプローチを強制する。 DP-SGDを超える一般微分プライベートアルゴリズムフレームワークを提供し、任意の一階和を許容する。シャッフルを伴うバッチクリッピングに$sqrtg E$ DP依存性を示す。
論文参考訳（メタデータ） (2022-12-12T09:43:26Z)
Shuffle Gaussian Mechanism for Differential Privacy [2.7564955518050693]
$$ epsilon(lambda) leq frac1lambda-1logleft(frace-da/2sigma2ndasum_substackk_+dotsc+k_n=lambda;k_nlambda!k_nlambda!k_nlambda!
論文参考訳（メタデータ） (2022-06-20T04:54:16Z)
On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文参考訳（メタデータ） (2021-01-11T19:43:12Z)
Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。