論文の概要: Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization

• arxiv url: http://arxiv.org/abs/2410.14054v2
• Date: Mon, 21 Apr 2025 16:57:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-22 15:07:01.80724
• Title: Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
• Title（参考訳）: 一般化スムース最適化のための適応的勾配正規化と独立サンプリング
• Authors: Yufeng Yang, Erin Tripp, Yifan Sun, Shaofeng Zou, Yi Zhou,
• Abstract要約: 既存のアルゴリズムは一般化された非滑らかな幾何学に完全に適応していないことを示す。 実験はノイズ仮定の下での$smoothO($St)問題の高速収束を示す。
• 参考スコア（独自算出の注目度）: 19.000530691874516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have shown that many nonconvex machine learning problems satisfy a generalized-smooth condition that extends beyond traditional smooth nonconvex optimization. However, the existing algorithms are not fully adapted to such generalized-smooth nonconvex geometry and encounter significant technical limitations on their convergence analysis. In this work, we first analyze the convergence of adaptively normalized gradient descent under function geometries characterized by generalized-smoothness and generalized P{\L} condition, revealing the advantage of adaptive gradient normalization. Our results provide theoretical insights into adaptive normalization across various scenarios.For stochastic generalized-smooth nonconvex optimization, we propose \textbf{I}ndependent-\textbf{A}daptively \textbf{N}ormalized \textbf{S}tochastic \textbf{G}radient \textbf{D}escent, which leverages adaptive gradient normalization, independent sampling, and gradient clipping to achieve an $\mathcal{O}(\epsilon^{-4})$ sample complexity under relaxed noise assumptions. Experiments on large-scale nonconvex generalized-smooth problems demonstrate the fast convergence of our algorithm.
• Abstract（参考訳）: 最近の研究では、従来の滑らかな非凸最適化を超えて、多くの非凸機械学習問題が一般化された平滑な条件を満たすことが示されている。 しかし、既存のアルゴリズムはそのような一般化された滑らかな非凸幾何学に完全に適応せず、収束解析において重要な技術的制限に直面している。 本研究では, 一般化平滑性と一般化P{\L}条件を特徴とする関数幾何学における適応正規化勾配降下の収束を解析し, 適応正規化の利点を明らかにする。 この結果から, 適応的勾配正規化, 独立サンプリング, 勾配クリッピングを応用し, $\mathcal{O}(\epsilon^{-4})$サンプル複雑性を緩和雑音仮定の下で達成する。 大規模非凸一般化平滑問題に対する実験は,アルゴリズムの高速収束を実証している。

関連論文リスト

• Towards Weaker Variance Assumptions for Stochastic Optimization [19.339358874690568]
  次数次法の2乗ノルムを最適化変数の2乗ノルムの2乗ノルムと同程度の速さで成長させることができるような勾配アルゴリズムを解析するための古典的な仮定を再検討する。 関数的制約や正規化された凸凹 min-max 問題を用いて凸問題を解析する。 実現可能な集合の有界性を必要としない最適度測度に対するレートを得る。
  論文  参考訳（メタデータ） (2025-04-14T07:26:34Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization [26.68351521813062]
  既存のバイレベルアルゴリズムは、非滑らかまたは超滑らかな正規化器を扱えない。 本稿では,包括的機械学習アプリケーションを高速化するために,暗黙差分法(AID)が有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-30T18:53:04Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• The computational asymptotics of Gaussian variational inference and the Laplace approximation [19.366538729532856]
  ガウス族との変分推論の凸性について理論的に解析する。 CSVIとCSVの両方の大規模実データにより、各最適化問題のグローバルな最適解が得られる可能性が向上することを示す。
  論文  参考訳（メタデータ） (2021-04-13T01:23:34Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。