論文の概要: Batch Clipping and Adaptive Layerwise Clipping for Differential Private Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2307.11939v1
• Date: Fri, 21 Jul 2023 23:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 18:59:15.643061
• Title: Batch Clipping and Adaptive Layerwise Clipping for Differential Private Stochastic Gradient Descent
• Title（参考訳）: 微分プライベート確率勾配降下のためのバッチクリッピングと適応層分割クリッピング
• Authors: Toan N. Nguyen, Phuong Ha Nguyen, Lam M. Nguyen, Marten Van Dijk
• Abstract要約: Differential Private Gradient Descent (DPSGD) は、ガウスノイズでぼかされたクリップされた勾配の合計を中央サーバに送信する。 Batch Clipping (BC) ここでは、単一の勾配をクリップする代わりに、平均とクリップの勾配をバッチする。 アダプティブ・レイヤワイズ・クリッピング法 (Adaptive Layerwise Clipping method, AlC) では、各層がそれぞれ適応的に微調整されたクリッピング定数を持つ。
• 参考スコア（独自算出の注目度）: 21.55827140532476
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Each round in Differential Private Stochastic Gradient Descent (DPSGD) transmits a sum of clipped gradients obfuscated with Gaussian noise to a central server which uses this to update a global model which often represents a deep neural network. Since the clipped gradients are computed separately, which we call Individual Clipping (IC), deep neural networks like resnet-18 cannot use Batch Normalization Layers (BNL) which is a crucial component in deep neural networks for achieving a high accuracy. To utilize BNL, we introduce Batch Clipping (BC) where, instead of clipping single gradients as in the orginal DPSGD, we average and clip batches of gradients. Moreover, the model entries of different layers have different sensitivities to the added Gaussian noise. Therefore, Adaptive Layerwise Clipping methods (ALC), where each layer has its own adaptively finetuned clipping constant, have been introduced and studied, but so far without rigorous DP proofs. In this paper, we propose {\em a new ALC and provide rigorous DP proofs for both BC and ALC}. Experiments show that our modified DPSGD with BC and ALC for CIFAR-$10$ with resnet-$18$ converges while DPSGD with IC and ALC does not.
• Abstract（参考訳）: 微分プライベート確率勾配降下 (dpsgd) の各ラウンドは、ガウスノイズを伴わないクリップされた勾配の和を中央サーバに送信し、これを用いて、ディープニューラルネットワークをしばしば表現するグローバルモデルを更新する。 クリップング勾配は個別クリッピング(ic)と呼ばれる別々に計算されるため、resnet-18のようなディープニューラルネットワークでは、高精度を達成するためにディープニューラルネットワークの重要なコンポーネントであるバッチ正規化層(bnl)を使用できない。 BNLを利用するために、Batch Clipping (BC)を導入し、DPSGDのように単一の勾配をクリップする代わりに、平均およびクリップの勾配をクリップする。 さらに、異なる層のモデルエントリは、付加ガウス雑音に対する感受性が異なる。 したがって,各層が適応的に微調整されたクリッピング定数を有する適応的層毎クリッピング法(alc)が導入され,検討されているが,厳密なdp証明は行われていない。 本稿では,新たな ALC を提案し,BC と ALC の両方に対して厳密な DP 証明を提供する。 実験の結果,CIFARが10ドル,resnetが18ドル,ICとALCが10ドル,DPSGDがICとALCが10ドルであった。

関連論文リスト

• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Generalizing DP-SGD with Shuffling and Batch Clipping [21.55827140532476]
  DP-SGDは、ランダムなサブサンプリングによる個別のクリッピングを実装し、ミニバッチSGDアプローチを強制する。 DP-SGDを超える一般微分プライベートアルゴリズムフレームワークを提供し、任意の一階和を許容する。 シャッフルを伴うバッチクリッピングに$sqrtg E$ DP依存性を示す。
  論文  参考訳（メタデータ） (2022-12-12T09:43:26Z)
• Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
  非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。 DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
  論文  参考訳（メタデータ） (2022-12-01T07:26:49Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。