論文の概要: DP-AdamBC: Your DP-Adam Is Actually DP-SGD (Unless You Apply Bias Correction)

• arxiv url: http://arxiv.org/abs/2312.14334v1
• Date: Thu, 21 Dec 2023 23:42:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 16:38:13.243577
• Title: DP-AdamBC: Your DP-Adam Is Actually DP-SGD (Unless You Apply Bias Correction)
• Title（参考訳）: dp-adambc:あなたのdp-adamは実際にはdp-sgdです(バイアス補正を適用しない限り)
• Authors: Qiaoyue Tang, Frederick Shpilevskiy, Mathias L\'ecuyer
• Abstract要約: 本稿では,第2モーメント推定におけるバイアスを除去し,Adamの期待挙動を検索する最適化アルゴリズムDP-AdamBCを提案する。 DP-AdamBCは、画像、テキスト、グラフノードの分類タスクにおいて、DP-Adamの最適化性能を3.5%向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Adam optimizer is a popular choice in contemporary deep learning, due to its strong empirical performance. However we observe that in privacy sensitive scenarios, the traditional use of Differential Privacy (DP) with the Adam optimizer leads to sub-optimal performance on several tasks. We find that this performance degradation is due to a DP bias in Adam's second moment estimator, introduced by the addition of independent noise in the gradient computation to enforce DP guarantees. This DP bias leads to a different scaling for low variance parameter updates, that is inconsistent with the behavior of non-private Adam. We propose DP-AdamBC, an optimization algorithm which removes the bias in the second moment estimation and retrieves the expected behaviour of Adam. Empirically, DP-AdamBC significantly improves the optimization performance of DP-Adam by up to 3.5% in final accuracy in image, text, and graph node classification tasks.
• Abstract（参考訳）: adamオプティマイザは、その強力な経験的パフォーマンスのために、現代のディープラーニングで人気のある選択肢である。 しかし、プライバシーに敏感なシナリオでは、Adamオプティマイザを用いた従来の微分プライバシ(DP)の使用は、いくつかのタスクにおいてサブ最適パフォーマンスをもたらす。 この性能低下はアダムの第二モーメント推定器におけるdpバイアスが原因であり、勾配計算における独立ノイズの追加によってdp保証が強制される。 このDPバイアスは、非プライベートAdamの振る舞いと矛盾する低分散パラメータ更新のための異なるスケーリングをもたらす。 本稿では,第2モーメント推定におけるバイアスを除去し,Adamの期待挙動を検索する最適化アルゴリズムDP-AdamBCを提案する。 DP-AdamBCは、画像、テキスト、グラフノードの分類タスクにおいて、DP-Adamの最適化性能を最大3.5%向上させる。

関連論文リスト

• Deconstructing What Makes a Good Optimizer for Language Models [7.9224468703944115]
  SGD,Adafactor,Adam,Lionなどの最適化アルゴリズムを自己回帰言語モデリングの文脈で比較する。 以上の結果から,SGDを除いて,これらのアルゴリズムは最適性能の両立が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:11:40Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• DP-Adam: Correcting DP Bias in Adam's Second Moment Estimation [0.0]
  我々は,AdamによるDPの従来の利用は,勾配計算における独立雑音の追加により,第2モーメント推定においてバイアスが発生することを観察した。 このバイアスは、非プライベートなAdamの振る舞いやAdamのサイン降下解釈と矛盾する低分散パラメータ更新のための異なるスケーリングにつながる。
  論文  参考訳（メタデータ） (2023-04-21T18:43:37Z)
• Make Landscape Flatter in Differentially Private Federated Learning [69.78485792860333]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAMは、局所的な平坦性モデルと、より優れた安定性と重量頑健性を統合し、DPノイズに対する局所的な更新とロバスト性の小さなノルムをもたらす。 提案アルゴリズムは,DPFLの既存のSOTAベースラインと比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2023-03-20T16:27:36Z)
• DP-FP: Differentially Private Forward Propagation for Large Models [2.062295244789704]
  DPフォワードプロパゲーション (DP-FP) に差分プライベートグラディエントDescenceを置き換えることにより, 性能低下を緩和する方法を示す。 われわれのDP-FPの平均精度は91.34%で、プライバシー予算は3未満であり、最先端のDP-SGDよりも3.81%パフォーマンスが向上した。
  論文  参考訳（メタデータ） (2021-12-29T07:32:29Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。