論文の概要: Beyond Uniform Lipschitz Condition in Differentially Private Optimization

• arxiv url: http://arxiv.org/abs/2206.10713v1
• Date: Tue, 21 Jun 2022 20:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 09:11:34.398270
• Title: Beyond Uniform Lipschitz Condition in Differentially Private Optimization
• Title（参考訳）: 微分プライベート最適化における一様リプシッツ条件を超える
• Authors: Rudrajit Das, Satyen Kale, Zheng Xu, Tong Zhang, Sujay Sanghavi
• Abstract要約: 微分プライベート勾配勾配降下(DP-SGD)に関する最も先行収束結果は、一様リプシッツ性(英語版)の単純な仮定の下で導出される。 緩和版を満たすDP-SGD設定におけるクリップノルムの選択に関する原則的ガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 28.04430869054056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most prior convergence results on differentially private stochastic gradient descent (DP-SGD) are derived under the simplistic assumption of uniform Lipschitzness, i.e., the per-sample gradients are uniformly bounded. This assumption is unrealistic in many problems, e.g., linear regression with Gaussian data. We relax uniform Lipschitzness by instead assuming that the per-sample gradients have \textit{sample-dependent} upper bounds, i.e., per-sample Lipschitz constants, which themselves may be unbounded. We derive new convergence results for DP-SGD on both convex and nonconvex functions when the per-sample Lipschitz constants have bounded moments. Furthermore, we provide principled guidance on choosing the clip norm in DP-SGD for convex settings satisfying our relaxed version of Lipschitzness, without making distributional assumptions on the Lipschitz constants. We verify the effectiveness of our recommendation via experiments on benchmarking datasets.
• Abstract（参考訳）: 微分的にプライベートな確率勾配降下(dp-sgd)に関するほとんどの事前収束結果は、一様リプシッツネスの単純仮定、すなわち、サンプルごとの勾配は一様有界である。 この仮定は多くの問題、例えばガウスデータの線形回帰において非現実的である。 我々は代わりに、サンプルごとの勾配が \textit{sample-dependent} 上界、すなわち、サンプルごとのリプシッツ定数を持つと仮定して、一様リプシッツを緩和する。 リプシッツ定数が有界なモーメントを持つとき、凸関数と非凸関数の両方でdp-sgdの新しい収束結果を得る。 さらに,リプシッツ定数の分布的仮定をすることなく,リプシッツネスの緩和版を満たす凸設定に対してdp-sgdのクリップノルムを選択するための原則的ガイダンスを提供する。 ベンチマークデータセットの実験を通じて,提案手法の有効性を検証する。

関連論文リスト

• Global Well-posedness and Convergence Analysis of Score-based Generative Models via Sharp Lipschitz Estimates [1.3124513975412255]
  スコアベース生成モデル(SGM)のグローバルな適合性と収束性を確立する。 スムーズな場合、最適時間長のスコア関数のリプシッツ境界から始める。 最適性は、スコアのリプシッツ定数が初期で有界であるが有限時間で爆発する例によって検証される。
  論文  参考訳（メタデータ） (2024-05-25T07:31:24Z)
• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• DP-SGD Without Clipping: The Lipschitz Neural Network Way [5.922390405022253]
  ディファレンシャル・プライベート(DP)ディープ・ニューラル・ニューラルネットワーク(DNN)の訓練 パラメータに関して各レイヤのリプシッツ定数をバウンドすることで、これらのネットワークをプライバシ保証でトレーニングできることを証明します。 我々の分析では、上記の感性度を大規模に計算できるだけでなく、固定されたプライバシー保証のための勾配-雑音比を最大化するためのガイダンスも提供しています。
  論文  参考訳（メタデータ） (2023-05-25T16:05:46Z)
• Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees [37.40957596986653]
  任意のクリッピング閾値に正確に依存するコンバージェンス保証を$c$とする。 特に、決定論的勾配降下については、クリッピングしきい値が高次収束項にのみ影響することを示す。 クリッピングされたSGDを走らせる際に、勾配ノルムの収束に一致する上限と下限を与える。
  論文  参考訳（メタデータ） (2023-05-02T16:42:23Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
  また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。 この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
  論文  参考訳（メタデータ） (2020-10-20T18:03:45Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)
• Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets [14.945821529085896]
  本稿では,コミュニケーション効率に着目した固有関数の平均最小化のための分散最適化アルゴリズムについて検討する。 本稿では,これらの設定に特化して機能するマシンの,新しい強調型サンプリングを提案する。 この手法により, 最大リプシッツ定数から機械間におけるリプシッツ定数の強調への収束率の依存性が向上することを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。