論文の概要: Extended convexity and smoothness and their applications in deep learning

• arxiv url: http://arxiv.org/abs/2410.05807v2
• Date: Wed, 15 Jan 2025 09:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 19:05:07.842506
• Title: Extended convexity and smoothness and their applications in deep learning
• Title（参考訳）: 拡張凸性・滑らか性とそのディープラーニングへの応用
• Authors: Binchuan Qi, Wei Gong, Li Li,
• Abstract要約: 本稿では,複合最適化問題のクラス,特にディープラーニングにおける理論的基礎を提供するための最適化フレームワークを提案する。 我々は、$mathcalH(Phi)$-smoothness である対象関数に対するリプシッツの降下法と降下法の滑らかさを解析する。
• 参考スコア（独自算出の注目度）: 5.281849820329249
• License:
• Abstract: This paper introduces an optimization framework aimed at providing a theoretical foundation for a class of composite optimization problems, particularly those encountered in deep learning. In this framework, we introduce $\mathcal{H}(\phi)$-convexity and $\mathcal{H}(\Phi)$-smoothness to generalize the existing concepts of Lipschitz smoothness and strong convexity. Furthermore, we analyze and establish the convergence of both gradient descent and stochastic gradient descent methods for objective functions that are $\mathcal{H}(\Phi)$-smooth. We prove that the optimal convergence rates of these methods depend solely on the homogeneous degree of $\Phi$. Based on these findings, we construct two types of non-convex and non-smooth optimization problems: deterministic composite and stochastic composite optimization problems, which encompass the majority of optimization problems in deep learning. To address these problems, we develop the gradient structure control algorithm and prove that it can locate approximate global optima. This marks a significant departure from traditional non-convex analysis framework, which typically settle for stationary points. Therefore, with the introduction of $\mathcal{H}(\phi)$-convexity and $\mathcal{H}(\Phi)$-smoothness, along with the GSC algorithm, the non-convex optimization mechanisms in deep learning can be theoretically explained and supported. Finally, the effectiveness of the proposed framework is substantiated through empirical experimentation.
• Abstract（参考訳）: 本稿では,複合最適化問題,特にディープラーニングで遭遇した問題に対する理論的基礎を提供するための最適化フレームワークを提案する。 このフレームワークでは、既存のリプシッツの滑らかさと強い凸性の概念を一般化するために、$\mathcal{H}(\phi)$-凸性と$\mathcal{H}(\Phi)$-滑らかさを導入する。 さらに, $\mathcal{H}(\Phi)$-smooth の目的関数に対する勾配降下法と確率勾配降下法の両方の収束を解析・確立する。 これらの手法の最適収束率は、$\Phi$の等質次数のみに依存することを証明している。 これらの結果から,非凸・非滑らかな最適化問題として,決定論的合成問題と確率論的合成最適化問題という,ディープラーニングにおける最適化問題の大部分を含む2種類の非凸・非滑らかな最適化問題を構築した。 これらの問題に対処するため、勾配構造制御アルゴリズムを開発し、大域的最適度を近似できることを示す。 これは従来の非凸解析フレームワークから大きく離れており、通常は静止点に落ち着く。 したがって、GSCアルゴリズムとともに、$\mathcal{H}(\phi)$-convexityと$\mathcal{H}(\Phi)$-smoothnessを導入することにより、ディープラーニングにおける非凸最適化機構を理論的に説明し、支持することができる。 最後に,提案手法の有効性を実証実験により検証した。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Gradient is All You Need? [0.0]
  本稿では、コンセンサスに基づく勾配最適化(CBO)の解釈による学習アルゴリズムの理論的理解に関する新しい分析的視点を提供する。 本研究は,非局所景観関数の複雑さを軽減するため,CBOの本質的な能力を証明するものである。
  論文  参考訳（メタデータ） (2023-06-16T11:30:55Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Improved Analysis of Clipping Algorithms for Non-convex Optimization [19.507750439784605]
  最近、citetzhang 2019gradient show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD。 実験は、深層学習におけるクリッピングに基づく手法の優位性を確認する。
  論文  参考訳（メタデータ） (2020-10-05T14:36:59Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。