論文の概要: Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training

• arxiv url: http://arxiv.org/abs/2402.08344v1
• Date: Tue, 13 Feb 2024 10:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 15:54:34.294233
• Title: Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training
• Title（参考訳）: ノイズSGDにおけるインシシットバイアス : 差分プライベートトレーニングへの応用
• Authors: Tom Sander, Maxime Sylvestre, Alain Durmus
• Abstract要約: Gradient Descent(SGD)を使用した小さなバッチによるDeep Neural Networks(DNN)のトレーニングでは、より大きなバッチよりも優れたテストパフォーマンスが得られる。 DNNのトレーニングで差分プライバシー(DP)を確保するために使用されるDP-SGDは、クリップされた勾配にガウスノイズを付加する。 驚くべきことに、大規模なバッチトレーニングは依然としてパフォーマンスを著しく低下させており、強力なDPが大量のバッチを使用する必要があることを保証しているため、重要な課題となっている。
• 参考スコア（独自算出の注目度）: 9.618473763561418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Deep Neural Networks (DNNs) with small batches using Stochastic Gradient Descent (SGD) yields superior test performance compared to larger batches. The specific noise structure inherent to SGD is known to be responsible for this implicit bias. DP-SGD, used to ensure differential privacy (DP) in DNNs' training, adds Gaussian noise to the clipped gradients. Surprisingly, large-batch training still results in a significant decrease in performance, which poses an important challenge because strong DP guarantees necessitate the use of massive batches. We first show that the phenomenon extends to Noisy-SGD (DP-SGD without clipping), suggesting that the stochasticity (and not the clipping) is the cause of this implicit bias, even with additional isotropic Gaussian noise. We theoretically analyse the solutions obtained with continuous versions of Noisy-SGD for the Linear Least Square and Diagonal Linear Network settings, and reveal that the implicit bias is indeed amplified by the additional noise. Thus, the performance issues of large-batch DP-SGD training are rooted in the same underlying principles as SGD, offering hope for potential improvements in large batch training strategies.
• Abstract（参考訳）: Stochastic Gradient Descent (SGD) を用いた小さなバッチによるディープニューラルネットワーク(DNN)のトレーニングでは、より大きなバッチに比べて優れたテストパフォーマンスが得られる。 SGD固有の特定のノイズ構造は、この暗黙のバイアスの原因であることが知られている。 DNNのトレーニングで差分プライバシー(DP)を確保するために使用されるDP-SGDは、クリップされた勾配にガウスノイズを追加する。 驚くべきことに、大規模なバッチトレーニングは依然としてパフォーマンスを著しく低下させるため、強力なdpは大量のバッチを使用する必要があるため、重要な課題となる。 最初に、この現象は、クリッピングなしではノイズ-SGD(DP-SGD)にまで広がり、その確率性(クリップではなく)がこの暗黙バイアスの原因であることを示唆した。 線形最小二乗および対角線形ネットワーク設定におけるノイズsgdの連続バージョンで得られた解を理論的に解析し, 暗黙のバイアスが付加雑音によって実際に増幅されることを明らかにした。 従って、大規模dp-sgdトレーニングのパフォーマンス問題は、sgdと同じ基本原則に根ざしており、大規模バッチトレーニング戦略の潜在的な改善を期待できる。

関連論文リスト

• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• Differential Privacy of Noisy (S)GD under Heavy-Tailed Perturbations [6.220757855114254]
  降下反復音(SGD)に重尾ノイズを注入することは,ここ数年で注目されている。 重み付き摂動を持つSGDは、(0, tildemathcalO (1/n)$ DP保証が得られることを示す。 重み付きノイズ発生機構はガウスの場合と同じようなDP保証を実現し,軽み付きノイズの代替となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-04T13:53:41Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• DP-Forward: Fine-tuning and Inference on Language Models with Differential Privacy in Forward Pass [22.578388829171157]
  DP-フォワードの摂動は言語モデルの前方通過に埋め込まれる。 ほぼ民間のベースラインに到達し、プライバシーレベルではDP-SGDを7.7ppまで上回っている。
  論文  参考訳（メタデータ） (2023-09-13T06:37:53Z)
• Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD [56.01810892677744]
  DP-SGDにおいて,サンプルごとの勾配ノルムとプライベート勾配オラクルの推定バイアスの関連性を示す。 BAM(Bias-Aware Minimisation)を提案する。
  論文  参考訳（メタデータ） (2023-08-23T09:20:41Z)
• DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling [19.59757201902467]
  ディファレンシャルプライバシ(DP)は、プライバシ保護の十分に受け入れられた標準となり、ディープニューラルネットワーク(DNN)は、機械学習において非常に成功した。 この目的のための古典的なメカニズムはDP-SGDであり、これは訓練に一般的に使用される勾配降下(SGD)の微分プライベートバージョンである。 DPISは,DP-SGDのコアのドロップイン代替として使用できる,微分プライベートなSGDトレーニングのための新しいメカニズムである。
  論文  参考訳（メタデータ） (2022-10-18T07:03:14Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)
• Dynamic Differential-Privacy Preserving SGD [19.273542515320372]
  Differentially-Private Gradient Descent (DP-SGD)は、SGDトレーニング中にクリップされた勾配にノイズを加えることで、トレーニングデータのプライバシ侵害を防止する。 同じクリップ操作とトレーニングステップ間の付加ノイズにより、不安定な更新や、上昇期間も生じる。 更新時にDP-SGDよりも低いプライバシコストの動的DP-SGDを提案する。
  論文  参考訳（メタデータ） (2021-10-30T04:45:11Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。