論文の概要: Beyond Uniform Lipschitz Condition in Differentially Private Optimization

• arxiv url: http://arxiv.org/abs/2206.10713v2
• Date: Tue, 6 Jun 2023 01:26:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 23:52:06.217392
• Title: Beyond Uniform Lipschitz Condition in Differentially Private Optimization
• Title（参考訳）: 微分プライベート最適化における一様リプシッツ条件を超える
• Authors: Rudrajit Das, Satyen Kale, Zheng Xu, Tong Zhang, Sujay Sanghavi
• Abstract要約: 微分プライベート勾配降下(DP-SGD)に関するほとんどの先行結果は、一様リプシッツ性(英語版)という単純な仮定の下で導出される。 我々は、サンプルごとのリプシッツ定数が有界であるとき、一般バージョンのリプシッツネスのノルム依存度を選択する原理的なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 28.04430869054056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most prior results on differentially private stochastic gradient descent (DP-SGD) are derived under the simplistic assumption of uniform Lipschitzness, i.e., the per-sample gradients are uniformly bounded. We generalize uniform Lipschitzness by assuming that the per-sample gradients have sample-dependent upper bounds, i.e., per-sample Lipschitz constants, which themselves may be unbounded. We provide principled guidance on choosing the clip norm in DP-SGD for convex over-parameterized settings satisfying our general version of Lipschitzness when the per-sample Lipschitz constants are bounded; specifically, we recommend tuning the clip norm only till values up to the minimum per-sample Lipschitz constant. This finds application in the private training of a softmax layer on top of a deep network pre-trained on public data. We verify the efficacy of our recommendation via experiments on 8 datasets. Furthermore, we provide new convergence results for DP-SGD on convex and nonconvex functions when the Lipschitz constants are unbounded but have bounded moments, i.e., they are heavy-tailed.
• Abstract（参考訳）: 微分プライベート確率勾配降下 (dp-sgd) のほとんどの先行結果は、一様リプシッツネスの単純仮定、すなわち、サンプルごとの勾配は一様有界である。 我々は、サンプル毎の勾配がサンプル依存の上界、すなわちサンプル毎リプシッツ定数を持つと仮定して、一様リプシッツネスを一般化する。 DP-SGDにおけるクリップノルムの選択に関する原則的ガイダンスは、サンプルごとのリプシッツ定数が有界である場合の一般バージョンのリプシッツネスを満たす凸過パラメータ設定であり、具体的には、サンプルごとのリプシッツ定数の値が最小となるまでのみクリップノルムを調整することを推奨する。 これにより、公開データ上で事前トレーニングされたディープネットワーク上のソフトマックス層のプライベートトレーニングに応用できる。 8つのデータセットで実験を行い,提案手法の有効性を検証する。 さらに、リプシッツ定数が非有界であるが有界なモーメントを持つとき、凸関数と非凸関数に対するDP-SGDに対する新たな収束結果を与える。

関連論文リスト

• Global Well-posedness and Convergence Analysis of Score-based Generative Models via Sharp Lipschitz Estimates [1.3124513975412255]
  スコアベース生成モデル(SGM)のグローバルな適合性と収束性を確立する。 スムーズな場合、最適時間長のスコア関数のリプシッツ境界から始める。 最適性は、スコアのリプシッツ定数が初期で有界であるが有限時間で爆発する例によって検証される。
  論文  参考訳（メタデータ） (2024-05-25T07:31:24Z)
• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• DP-SGD Without Clipping: The Lipschitz Neural Network Way [5.922390405022253]
  ディファレンシャル・プライベート(DP)ディープ・ニューラル・ニューラルネットワーク(DNN)の訓練 パラメータに関して各レイヤのリプシッツ定数をバウンドすることで、これらのネットワークをプライバシ保証でトレーニングできることを証明します。 我々の分析では、上記の感性度を大規模に計算できるだけでなく、固定されたプライバシー保証のための勾配-雑音比を最大化するためのガイダンスも提供しています。
  論文  参考訳（メタデータ） (2023-05-25T16:05:46Z)
• Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees [37.40957596986653]
  任意のクリッピング閾値に正確に依存するコンバージェンス保証を$c$とする。 特に、決定論的勾配降下については、クリッピングしきい値が高次収束項にのみ影響することを示す。 クリッピングされたSGDを走らせる際に、勾配ノルムの収束に一致する上限と下限を与える。
  論文  参考訳（メタデータ） (2023-05-02T16:42:23Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
  また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。 この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
  論文  参考訳（メタデータ） (2020-10-20T18:03:45Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)
• Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets [14.945821529085896]
  本稿では,コミュニケーション効率に着目した固有関数の平均最小化のための分散最適化アルゴリズムについて検討する。 本稿では,これらの設定に特化して機能するマシンの,新しい強調型サンプリングを提案する。 この手法により, 最大リプシッツ定数から機械間におけるリプシッツ定数の強調への収束率の依存性が向上することを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。