Fugu-MT 論文翻訳(概要): Momentum-based gradient descent methods for Lie groups

論文の概要: Momentum-based gradient descent methods for Lie groups

arxiv url: http://arxiv.org/abs/2404.09363v1
Date: Sun, 14 Apr 2024 21:30:00 GMT
ステータス: 処理完了
システム内更新日: 2024-04-16 14:18:53.657950
Title: Momentum-based gradient descent methods for Lie groups
Title（参考訳）: モーメントに基づくリー群の勾配降下法
Authors: Cédric M. Campos, David Martín de Diego, José Torrente,
Abstract要約: Polyak's Heavy Ball (PHB)、別名Classical Momentum、Nesterov's Accelerated Gradientは、最適化のための運動量差法のよく知られた例である。本稿では、古典的運動量法と加速的運動量法との変分1対1対応に基づくリー群最適化のためのNAGライクな手法の一般化を提案する。
参考スコア（独自算出の注目度）: 1.433758865948252
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Polyak's Heavy Ball (PHB; Polyak, 1964), a.k.a. Classical Momentum, and Nesterov's Accelerated Gradient (NAG; Nesterov, 1983) are well know examples of momentum-descent methods for optimization. While the latter outperforms the former, solely generalizations of PHB-like methods to nonlinear spaces have been described in the literature. We propose here a generalization of NAG-like methods for Lie group optimization based on the variational one-to-one correspondence between classical and accelerated momentum methods (Campos et al., 2023). Numerical experiments are shown.
Abstract（参考訳）: Polyak's Heavy Ball (PHB; Polyak, 1964), a.k. Classical Momentum, and Nesterov's Accelerated Gradient (NAG; Nesterov, 1983) は運動量差法による最適化の例である。後者は前者よりも優れているが、PHBのような手法の非線形空間への一般化は文献で説明されている。本稿では、古典的運動量法と加速的運動量法との変分1対1対応に基づくリー群最適化のためのNAG様手法の一般化を提案する(Campos et al , 2023)。数値実験が行なわれている。

関連論文リスト

The time-dependent bivariational principle: Theoretical foundation for real-time propagation methods of coupled-cluster type [0.0]
時間依存二変分法(TD-BIVP)は結合クラスタ型手法の適切なフレームワークとして知られている。保存法とポアソンブラケットが導入され、古典力学の類似が完成する。
論文参考訳（メタデータ） (2024-10-31T17:51:44Z)
Adaptive Learning Rates for Faster Stochastic Gradient Methods [6.935471115003109]
いくつかの2次凸勾配法を改善するための適応的なステップサイズ戦略を提案する。最初の方法は古典的なPolyakのステップサイズ(Polyak, 1987)に基づいており、この手法の最近の発展の延長である。第2の手法であるGraDSは「勾配の多様性」によってステップサイズを再スケールする
論文参考訳（メタデータ） (2022-08-10T11:36:00Z)
Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
本稿では,そのようなモデル平均化手法のモーメント法を提案する。このような運動量法の収束特性とスケーリング特性を解析する。実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
論文参考訳（メタデータ） (2021-10-01T19:23:18Z)
A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。我々は1対1の対応において最適化手法の2つのファミリを導出する。自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文参考訳（メタデータ） (2021-06-04T20:21:53Z)
Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文参考訳（メタデータ） (2021-05-13T04:23:07Z)
Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
論文参考訳（メタデータ） (2020-09-28T15:05:39Z)
Understanding Nesterov's Acceleration via Proximal Point Method [52.99237600875452]
近似点法(PPM)は最適化アルゴリズムを設計するためのビルディングブロックとしてよく用いられる。本研究では、PPM法を用いて、Nesterovの加速度勾配法(AGM)の異なるバージョンの収束解析とともに、概念的に単純な導出を提供する。
論文参考訳（メタデータ） (2020-05-17T17:17:18Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)
Complexity Guarantees for Polyak Steps with Momentum [76.97851351276165]
そこでは,この知識を最適な値である$f_*$で置き換える。まず、Polyak ステップによる単純な勾配勾配の古典的な場合よりも若干改善された収束境界を示し、その後、収束保証とともに、Polyak ステップと運動量を持つ加速勾配法を導出する。
論文参考訳（メタデータ） (2020-02-03T17:50:28Z)
Variational Optimization on Lie Groups, with Examples of Leading (Generalized) Eigenvalue Problems [10.203602318836444]
この記事ではリー群上の関数の滑らかな最適化について考察する。ベクトル空間におけるNAG変分原理をリー群に一般化することにより、局所最適収束を保証する連続リー-NAGダイナミクスが得られる。
論文参考訳（メタデータ） (2020-01-27T19:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。