論文の概要: Differentially Private SGD with Sparse Gradients

• arxiv url: http://arxiv.org/abs/2112.00845v1
• Date: Wed, 1 Dec 2021 21:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 16:43:00.168061
• Title: Differentially Private SGD with Sparse Gradients
• Title（参考訳）: スパース勾配を有する微分プライベートSGD
• Authors: Junyi Zhu, Matthew Blaschko
• Abstract要約: DP-SGDは、勾配次元の数に応じてスケールするノイズの量を注入する必要がある。 本研究では,パラメータの漸進的に増加するサブセットをランダムに凍結し,緩やかな勾配更新を行うランダムフリーズを提案する。 DP-SGDフレームワークにランダム凍結を適用することで、同じ回数で精度を維持しながら、最大70%の表現間隔を実現します。
• 参考スコア（独自算出の注目度）: 2.5275732254383763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To protect sensitive training data, differentially private stochastic gradient descent (DP-SGD) has been adopted in deep learning to provide rigorously defined privacy. However, DP-SGD requires the injection of an amount of noise that scales with the number of gradient dimensions, resulting in large performance drops compared to non-private training. In this work, we propose random freeze which randomly freezes a progressively increasing subset of parameters and results in sparse gradient updates while maintaining or increasing accuracy. We theoretically prove the convergence of random freeze and find that random freeze exhibits a signal loss and perturbation moderation trade-off in DP-SGD. Applying random freeze across various DP-SGD frameworks, we maintain accuracy within the same number of iterations while achieving up to 70% representation sparsity, which demonstrates that the trade-off exists in a variety of DP-SGD methods. We further note that random freeze significantly improves accuracy, in particular for large networks. Additionally, axis-aligned sparsity induced by random freeze leads to various advantages for projected DP-SGD or federated learning in terms of computational cost, memory footprint and communication overhead.
• Abstract（参考訳）: センシティブなトレーニングデータを保護するため、深層学習において、厳密に定義されたプライバシーを提供するために、微分プライベート確率勾配降下(DP-SGD)が採用されている。 しかし、dp-sgdでは、勾配次元の数でスケールするノイズ量の注入が必要となり、非プライベートトレーニングに比べて大きなパフォーマンス低下が生じる。 本研究では,パラメータの漸進的に増加する部分集合をランダムに凍結し,精度を維持したり向上させたりしながら緩やかな勾配更新を行うランダム凍結を提案する。 理論的にはランダム凍結の収束を証明し、DP-SGDにおいてランダム凍結は信号損失と摂動変調のトレードオフを示す。 様々なDP-SGDフレームワークにランダム凍結を適用し、同じ回数で精度を維持しながら、最大70%の表現幅を実現し、様々なDP-SGD手法にトレードオフが存在することを示す。 さらに、大規模なネットワークにおいて、ランダム凍結は精度を著しく向上させる。 さらに、ランダム凍結によって引き起こされる軸方向の間隔は、計算コスト、メモリフットプリント、通信オーバーヘッドの点で、プロジェクションされたDP-SGDやフェデレーション学習に様々な利点をもたらす。

関連論文リスト

• Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight [15.139854970044075]
  我々はDP-PSASC(disferially Private Per-Sample Adaptive Scaling Clipping)を導入する。 このアプローチは、従来のクリッピングを非単調適応勾配スケーリングに置き換える。 DP-PSASCは勾配のプライバシーを保ち、多様なデータセットに優れた性能を提供する。
  論文  参考訳（メタデータ） (2024-11-05T12:47:30Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Rethinking Improved Privacy-Utility Trade-off with Pre-existing Knowledge for DP Training [31.559864332056648]
  異種雑音(DP-Hero)を有する一般微分プライバシーフレームワークを提案する。 DP-Hero上では、勾配更新に注入されたノイズが不均一であり、予め確立されたモデルパラメータによって誘導されるDP-SGDの異種バージョンをインスタンス化する。 提案するDP-Heroの有効性を検証・説明するための総合的な実験を行い,最新技術と比較するとトレーニング精度が向上した。
  論文  参考訳（メタデータ） (2024-09-05T08:40:54Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• Bypassing the Ambient Dimension: Private SGD with Gradient Subspace Identification [47.23063195722975]
  微分プライベートSGD(DP-SGD)は、微分プライベートな経験的リスク最小化(ERM)を解決する最も一般的な方法の1つである。 各勾配更新におけるノイズの多い摂動のため、DP-SGDの誤差率は、モデル内のパラメータ数である周囲次元$p$でスケールする。 雑音勾配を低次元部分空間に投影することでノイズ低減を行うDP-SGDを提案する。
  論文  参考訳（メタデータ） (2020-07-07T22:31:01Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation [12.880889651679094]
  差分プライバシー制約の下で,様々な相違点を持つ変分オートエンコーダの学習方法について検討する。 損失項の構成に合わせてランダム化勾配を2つの異なる方法で作成する項ワイズDP-SGDを提案する。
  論文  参考訳（メタデータ） (2020-06-19T16:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。