論文の概要: How to Make the Gradients Small Privately: Improved Rates for Differentially Private Non-Convex Optimization

• arxiv url: http://arxiv.org/abs/2402.11173v1
• Date: Sat, 17 Feb 2024 02:42:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 23:02:44.784274
• Title: How to Make the Gradients Small Privately: Improved Rates for Differentially Private Non-Convex Optimization
• Title（参考訳）: 勾配を小さくする方法:差分プライベートな非凸最適化のための改善率
• Authors: Andrew Lowy, Jonathan Ullman, Stephen J. Wright
• Abstract要約: 非一般化損失関数の定常点を近似的に求めるために、微分プライベートアルゴリズムを設計するためのシンプルで柔軟なフレームワークを提供する。 我々は、このフレームワークを用いて、いくつかの非一般化損失関数に対して、時折改善された最適率を得る。 アシュシュシュ・ハイツ(英語版)は上記の問題のそれぞれに対して以前の最先端を達成する。
• 参考スコア（独自算出の注目度）: 11.379562382224298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We provide a simple and flexible framework for designing differentially private algorithms to find approximate stationary points of non-convex loss functions. Our framework is based on using a private approximate risk minimizer to "warm start" another private algorithm for finding stationary points. We use this framework to obtain improved, and sometimes optimal, rates for several classes of non-convex loss functions. First, we obtain improved rates for finding stationary points of smooth non-convex empirical loss functions. Second, we specialize to quasar-convex functions, which generalize star-convex functions and arise in learning dynamical systems and training some neural nets. We achieve the optimal rate for this class. Third, we give an optimal algorithm for finding stationary points of functions satisfying the Kurdyka-Lojasiewicz (KL) condition. For example, over-parameterized neural networks often satisfy this condition. Fourth, we provide new state-of-the-art rates for stationary points of non-convex population loss functions. Fifth, we obtain improved rates for non-convex generalized linear models. A modification of our algorithm achieves nearly the same rates for second-order stationary points of functions with Lipschitz Hessian, improving over the previous state-of-the-art for each of the above problems.
• Abstract（参考訳）: 非凸損失関数の近似定常点を求めるために微分プライベートアルゴリズムを設計するための、単純で柔軟なフレームワークを提供する。 提案手法は, 静止点探索のための別のプライベートアルゴリズム「ウォームスタート」に, プライベート近似リスク最小化器を用いたものである。 このフレームワークを用いて、いくつかの非凸損失関数のクラスに対して改善され、時には最適となるレートを得る。 まず, 滑らかな非凸経験的損失関数の定常点を求めるための改善率を求める。 第2に、星凸関数を一般化し、力学系の学習やニューラルネットの訓練において生じるクエーサー凸関数を専門とする。 私たちはこのクラスの最適率を達成する。 第3に,kurdyka-lojasiewicz (kl)条件を満たす関数の定常点を求めるための最適アルゴリズムを提案する。 例えば、過パラメータニューラルネットワークは、しばしばこの条件を満たす。 第4に、非凸人口減少関数の定常点に対する新しい最先端率を提供する。 第5に、非凸一般化線形モデルの改善率を得る。 このアルゴリズムの修正は、リプシッツ・ヘッシアン関数の2次定常点に対してほぼ同じ速度を達成し、上記の各問題に対する以前の状態よりも改善される。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Continuized Acceleration for Quasar Convex Functions in Non-Convex Optimization [13.427128424538502]
  クエーサー凸性(英: Quasar convexity)とは、風景が最適でない場合でも、ある一階述語を効率的に関数にすることができる条件である。 クエーサー凸性は特定の条件下では可能であるが、これらの関数のクラスでは加速度は一般には知られていない。
  論文  参考訳（メタデータ） (2023-02-15T18:35:45Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Efficiently Escaping Saddle Points in Bilevel Optimization [48.925688192913]
  バイレベル最適化は、機械学習における問題の1つだ。 双レベル最適化の最近の進歩は、最初の基本的非適応的多段階解析に収束する。
  論文  参考訳（メタデータ） (2022-02-08T07:10:06Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。