論文の概要: A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization

• arxiv url: http://arxiv.org/abs/2110.08531v2
• Date: Wed, 31 Jan 2024 20:52:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 20:22:53.618985
• Title: A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization
• Title（参考訳）: 新たな運動量ステップを持つ適応アルゴリズムの理論的および実証的研究と確率的非凸最適化のためのシフト更新
• Authors: Cristian Daniel Alecsa
• Abstract要約: 適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。 本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is known that adaptive optimization algorithms represent the key pillar behind the rise of the Machine Learning field. In the Optimization literature numerous studies have been devoted to accelerated gradient methods but only recently adaptive iterative techniques were analyzed from a theoretical point of view. In the present paper we introduce new adaptive algorithms endowed with momentum terms for stochastic non-convex optimization problems. Our purpose is to show a deep connection between accelerated methods endowed with different inertial steps and AMSGrad-type momentum methods. Our methodology is based on the framework of stochastic and possibly non-convex objective mappings, along with some assumptions that are often used in the investigation of adaptive algorithms. In addition to discussing the finite-time horizon analysis in relation to a certain final iteration and the almost sure convergence to stationary points, we shall also look at the worst-case iteration complexity. This will be followed by an estimate for the expectation of the squared Euclidean norm of the gradient. Various computational simulations for the training of neural networks are being used to support the theoretical analysis. For future research we emphasize that there are multiple possible extensions to our work, from which we mention the investigation regarding non-smooth objective functions and the theoretical analysis of a more general formulation that encompass our adaptive optimizers in a stochastic framework.
• Abstract（参考訳）: 適応最適化アルゴリズムは機械学習分野の台頭の背後にある重要な柱を表現していることが知られている。 最適化文献では, 加速度勾配法について多くの研究がなされてきたが, 最近の適応型反復手法は理論的観点から解析された。 本稿では,確率的非凸最適化問題に対するモーメント項を用いた適応アルゴリズムを提案する。 本研究の目的は,異なる慣性ステップを持つ加速法とAMSGrad型運動量法との深い関係を示すことである。 本手法は, 確率的かつ非凸的対象写像の枠組みと, 適応アルゴリズムの研究でよく用いられるいくつかの仮定に基づいている。 ある種の最終反復とほぼ確実に定常点への収束に関する有限時間地平線解析の議論に加えて、最悪の場合のイテレーションの複雑さについても考察する。 これに続いて、勾配の2乗ユークリッドノルムの期待値の見積もりが行われる。 ニューラルネットワークのトレーニングのための様々な計算シミュレーションが理論解析を支援するために使用されている。 今後の研究のために,本研究には複数の拡張が考えられることを強調し,非滑らかな目的関数に関する調査と,適応最適化を確率的枠組みで包含するより一般的な定式化の理論的分析について述べる。

関連論文リスト

• Asymptotic and Non-Asymptotic Convergence Analysis of AdaGrad for Non-Convex Optimization via Novel Stopping Time-based Analysis [17.34603953600226]
  アダプティブはディープラーニングの強力なツールとして現れ、勾配に基づいて学習率を動的に調整している。 これらの手法は様々なディープラーニングタスクに大きく成功したが、AdaGradがこの研究の基盤となっている。
  論文  参考訳（メタデータ） (2024-09-08T08:29:51Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification [0.0]
  本稿では,二項制約を持つブラックボックス多目的最適化問題に対する適応最適化アルゴリズムを提案する。 本手法は確率的回帰モデルと分類モデルに基づいており,最適化目標のサロゲートとして機能する。 また,予想される超体積計算を高速化するために,新しい楕円形トランケーション法を提案する。
  論文  参考訳（メタデータ） (2020-08-27T09:15:02Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。