論文の概要: On The Convergence of First Order Methods for Quasar-Convex Optimization

• arxiv url: http://arxiv.org/abs/2010.04937v3
• Date: Tue, 27 Oct 2020 11:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:53:41.409049
• Title: On The Convergence of First Order Methods for Quasar-Convex Optimization
• Title（参考訳）: クエーサー凸最適化のための一階法の収束について
• Authors: Jikai Jin
• Abstract要約: 近年、ディープラーニングの成功は、多くの研究者に一般的なスムーズな非サーサー関数の研究を促している。 本稿では,様々な異なる設定における第1手法の収束について検討する。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the success of deep learning has inspired many researchers to study the optimization of general smooth non-convex functions. However, recent works have established pessimistic worst-case complexities for this class functions, which is in stark contrast with their superior performance in real-world applications (e.g. training deep neural networks). On the other hand, it is found that many popular non-convex optimization problems enjoy certain structured properties which bear some similarities to convexity. In this paper, we study the class of \textit{quasar-convex functions} to close the gap between theory and practice. We study the convergence of first order methods in a variety of different settings and under different optimality criterions. We prove complexity upper bounds that are similar to standard results established for convex functions and much better that state-of-the-art convergence rates of non-convex functions. Overall, this paper suggests that \textit{quasar-convexity} allows efficient optimization procedures, and we are looking forward to seeing more problems that demonstrate similar properties in practice.
• Abstract（参考訳）: 近年、ディープラーニングの成功は、一般的な滑らかな非凸関数の最適化を研究する多くの研究者に影響を与えている。 しかし、最近の研究は、このクラス関数に対する悲観的な最悪のケースの複雑さを確立しており、これは現実世界のアプリケーション(例えばディープニューラルネットワークのトレーニング)における優れた性能とは対照的である。 一方, 一般の非凸最適化問題の多くは, 凸性に類似した構造的特性を享受している。 本稿では,理論と実践のギャップを埋めるために, \textit{quasar-convex function} のクラスを研究する。 本研究では,様々な設定と最適性基準の異なる一階法の収束について検討する。 凸関数に対して確立された標準結果と類似した複雑性上界を証明し、非凸関数の最先端収束率をより良くする。 本報告では, より効率的な最適化手順が可能であることを示唆し, 実際に同様の特性を示す問題をより多く見ていくことを楽しみにしている。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Extended convexity and smoothness and their applications in deep learning [5.281849820329249]
  本稿では,複合最適化問題のクラス,特にディープラーニングにおける理論的基礎を提供するための最適化フレームワークを提案する。 我々は、$mathcalH(Phi)$-smoothness である対象関数に対するリプシッツの降下法と降下法の滑らかさを解析する。
  論文  参考訳（メタデータ） (2024-10-08T08:40:07Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints [3.1044138971639734]
  強い凸関数制約を受ける凸関数を最小化するために,高速化された原始双対アルゴリズムを導入する。 特にGoogleのパーソナライズされたPageRank問題では、スパシティ誘導最適化におけるメソッドのパフォーマンスが優れています。
  論文  参考訳（メタデータ） (2022-12-21T16:04:53Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Do optimization methods in deep learning applications matter? [0.0]
  本稿では、どの最適化関数を使うか、さらに、どの関数が並列化の取り組みの恩恵を受けるかについて議論する。 実験では,標準CIFAR,MNIST,CartPole,FlappyBird実験における既製の最適化関数(CG,SGD,LM,L-BFGS)を比較した。
  論文  参考訳（メタデータ） (2020-02-28T10:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。