論文の概要: Generalizing DP-SGD with Shuffling and Batching Clipping
- arxiv url: http://arxiv.org/abs/2212.05796v1
- Date: Mon, 12 Dec 2022 09:43:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 18:15:24.826005
- Title: Generalizing DP-SGD with Shuffling and Batching Clipping
- Title（参考訳）: シャッフルとバッチクリッピングによるDP-SGDの一般化
- Authors: Marten van Dijk, Phuong Ha Nguyen, Toan N. Nguyen and Lam M. Nguyen
- Abstract要約: DP-SGDは、ランダムなサブサンプリングによる個別のクリッピングを実装し、ミニバッチSGDアプローチを強制する。
DP-SGDを超える一般微分プライベートアルゴリズムフレームワークを提供し、任意の一階和を許容する。
シャッフルを伴うバッチクリッピングに$sqrtg E$ DP依存性を示す。
- 参考スコア（独自算出の注目度）: 21.55827140532476
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical differential private DP-SGD implements individual clipping with
random subsampling, which forces a mini-batch SGD approach. We provide a
general differential private algorithmic framework that goes beyond DP-SGD and
allows any possible first order optimizers (e.g., classical SGD and momentum
based SGD approaches) in combination with batch clipping, which clips an
aggregate of computed gradients rather than summing clipped gradients (as is
done in individual clipping). The framework also admits sampling techniques
beyond random subsampling such as shuffling.
Our DP analysis follows the $f$-DP approach and introduces a new proof
technique which allows us to also analyse group privacy. In particular, for $E$
epochs work and groups of size $g$, we show a $\sqrt{g E}$ DP dependency for
batch clipping with shuffling. This is much better than the previously
anticipated linear dependency in $g$ and is much better than the previously
expected square root dependency on the total number of rounds within $E$ epochs
which is generally much more than $\sqrt{E}$.
- Abstract（参考訳）: 古典的な差分DP-SGDは、ランダムサブサンプリングによる個々のクリッピングを実装し、ミニバッチSGDアプローチを強制する。
DP-SGDを超越した一般微分プライベートアルゴリズムフレームワークを提供し、バッチクリッピングと組み合わせて一階最適化(古典的なSGDや運動量に基づくSGDアプローチなど)を可能とし、クリッピングされた勾配を(個々のクリッピングで行うように)要約するのではなく、計算された勾配の集合をクリッピングする。
このフレームワークはまた、シャッフルのようなランダムなサブサンプリング以外のサンプリング技術も認めている。
我々のDP分析は$f$-DPアプローチに従い、グループプライバシの分析を可能にする新しい証明手法を導入する。
特に、e$ epochs の作業とサイズ $g$ のグループに対して、シャッフル付きバッチクリッピング用の$\sqrt{g e}$ dp 依存性を示します。
これは、以前予想されていた$g$の線形依存性よりもはるかに優れており、一般的に$\sqrt{e}$以上の$e$ epochs内のラウンドの総数に対する以前の予測の平方根依存性よりもはるかに優れている。
関連論文リスト
- Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。
ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。
本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T19:06:16Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - Batch Clipping and Adaptive Layerwise Clipping for Differential Private
Stochastic Gradient Descent [21.55827140532476]
Differential Private Gradient Descent (DPSGD) は、ガウスノイズでぼかされたクリップされた勾配の合計を中央サーバに送信する。
Batch Clipping (BC) ここでは、単一の勾配をクリップする代わりに、平均とクリップの勾配をバッチする。
アダプティブ・レイヤワイズ・クリッピング法 (Adaptive Layerwise Clipping method, AlC) では、各層がそれぞれ適応的に微調整されたクリッピング定数を持つ。
論文 参考訳（メタデータ） (2023-07-21T23:37:37Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger [39.93710312222771]
サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。
本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
論文 参考訳（メタデータ） (2022-06-14T19:49:44Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。