Fugu-MT 論文翻訳(概要): GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms

論文の概要: GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms

arxiv url: http://arxiv.org/abs/2405.16255v1
Date: Sat, 25 May 2024 14:36:33 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 22:17:06.208797
Title: GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms
Title（参考訳）: GeoAdaLer: 適応確率勾配勾配アルゴリズムの幾何学的洞察
Authors: Chinedu Eleh, Masuzyo Mwanza, Ekene Aguegboh, Hans-Werner van Wyk,
Abstract要約: 勾配降下最適化のための新しい適応学習法であるGeoAdaLer(Geometric Adaptive Learner)を紹介する。提案手法は,幾何学的に傾斜したアプローチを導入することで適応学習の概念を拡張した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Adam optimization method has achieved remarkable success in addressing contemporary challenges in stochastic optimization. This method falls within the realm of adaptive sub-gradient techniques, yet the underlying geometric principles guiding its performance have remained shrouded in mystery, and have long confounded researchers. In this paper, we introduce GeoAdaLer (Geometric Adaptive Learner), a novel adaptive learning method for stochastic gradient descent optimization, which draws from the geometric properties of the optimization landscape. Beyond emerging as a formidable contender, the proposed method extends the concept of adaptive learning by introducing a geometrically inclined approach that enhances the interpretability and effectiveness in complex optimization scenarios
Abstract（参考訳）: アダム最適化法は、確率最適化における現代の課題に対処する際、顕著な成功を収めた。この手法は適応的な下位段階の手法の領域に該当するが、その性能を導く基礎となる幾何学的原理は謎に包まれており、長い間研究が続けられてきた。本稿では,確率勾配降下最適化のための新しい適応学習手法であるGeoAdaLer(Geometric Adaptive Learner)を紹介する。複雑な最適化シナリオにおける解釈可能性と有効性を向上する幾何学的傾斜アプローチを導入することで適応学習の概念を拡張した。

関連論文リスト

Optimization Methods in Deep Learning: A Comprehensive Overview [0.0]
深層学習は、画像認識、自然言語処理、音声認識など様々な分野で顕著な成功を収めてきた。ディープラーニングの有効性は、ディープニューラルネットワークのトレーニングに使用される最適化方法に大きく依存する。本稿では、勾配勾配、Adagrad、Adadelta、RMSpropなどの一階最適化手法の概要と、NesterovAccelered gradient、Adam、Nadam、AdaMax、AMSGradといった最近の運動量ベースおよび適応勾配法について概説する。
論文参考訳（メタデータ） (2023-02-19T13:01:53Z)
BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization [3.541406632811038]
学習速度を自動的に調整する勾配に基づく最適化手法を提案する。このアプローチは、勾配降下(SGD)アルゴリズムに基づく学習率を最適化する代替手法である可能性がある。
論文参考訳（メタデータ） (2022-07-06T15:55:53Z)
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文参考訳（メタデータ） (2021-12-30T00:50:30Z)
Private Adaptive Gradient Methods for Convex Optimization [32.3523019355048]
適応的なステップサイズを持つグラディエント Descent (SGD) アルゴリズムの差分プライベート変種を提案・解析する。両アルゴリズムの後悔に関する上限を与え、その境界が最適であることを示す。
論文参考訳（メタデータ） (2021-06-25T16:46:45Z)
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文参考訳（メタデータ） (2021-06-15T15:16:28Z)
AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文参考訳（メタデータ） (2021-02-19T01:17:15Z)
EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization [68.8204255655161]
EOSは実数値変数の制約付きおよび制約なし問題に対する大域的最適化アルゴリズムである。これはよく知られた微分進化(DE)アルゴリズムに多くの改良を加えている。その結果、EOSisは、最先端の単一人口自己適応Dアルゴリズムと比較して高い性能を達成可能であることが証明された。
論文参考訳（メタデータ） (2020-07-09T10:19:22Z)
Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。適応勾配法の一般化に関する経験的および理論的考察を示す。
論文参考訳（メタデータ） (2020-02-26T21:42:49Z)
Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文参考訳（メタデータ） (2020-02-13T05:42:27Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。