論文の概要: Momentum-based gradient descent methods for Lie groups

• arxiv url: http://arxiv.org/abs/2404.09363v2
• Date: Thu, 31 Jul 2025 13:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:07.833742
• Title: Momentum-based gradient descent methods for Lie groups
• Title（参考訳）: モーメントに基づくリー群の勾配降下法
• Authors: Cédric M. Campos, David Martín de Diego, José Torrente,
• Abstract要約: Polyak's Heavy Ball (PHB) とNesterov's Accelerated Gradient (NAG) は、最適化のために確立された運動量差分法である。 リー群最適化のためのNAGライクな手法の一般化を提案する。
• 参考スコア（独自算出の注目度）: 1.433758865948252
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Polyak's Heavy Ball (PHB; Polyak, 1964), a.k.a. Classical Momentum, and Nesterov's Accelerated Gradient (NAG; Nesterov, 1983) are well-established momentum-descent methods for optimization. Although the latter generally outperforms the former, primarily, generalizations of PHB-like methods to nonlinear spaces have not been sufficiently explored in the literature. In this paper, we propose a generalization of NAG-like methods for Lie group optimization. This generalization is based on the variational one-to-one correspondence between classical and accelerated momentum methods (Campos et al., 2023). We provide numerical experiments for chosen retractions on the group of rotations based on the Frobenius norm and the Rosenbrock function to demonstrate the effectiveness of our proposed methods, and that align with results of the Euclidean case, that is, a faster convergence rate for NAG.
• Abstract（参考訳）: Polyak's Heavy Ball (PHB; Polyak, 1964), a.k. Classical Momentum, and Nesterov's Accelerated Gradient (NAG; Nesterov, 1983) は、最適化のために確立された運動量差法である。 後者は一般に前者よりも優れているが、主に非線形空間へのPHBライクな手法の一般化は文献では十分に研究されていない。 本稿では,リー群最適化のためのNAGライクな手法の一般化を提案する。 この一般化は古典的運動量法と加速的運動量法の間の変分1対1対応に基づいている(Campos et al , 2023)。 提案手法の有効性を実証するために,フロベニウスノルムとローゼンブロック関数に基づく回転群における選択されたリトラクションに関する数値実験を行った。

関連論文リスト

• Understanding Gradient Orthogonalization for Deep Learning via Non-Euclidean Trust-Region Optimization [19.574602844234814]
  動機付け行列化の理論解析を行う。 特に,非ユークリスキー信頼領域法が特別な事例であることを示す。 以上の結果から,いくつかの実測結果が得られた。
  論文  参考訳（メタデータ） (2025-03-16T20:49:34Z)
• The time-dependent bivariational principle: Theoretical foundation for real-time propagation methods of coupled-cluster type [0.0]
  時間依存二変分法(TD-BIVP)は結合クラスタ型手法の適切なフレームワークとして知られている。 保存法とポアソンブラケットが導入され、古典力学の類似が完成する。
  論文  参考訳（メタデータ） (2024-10-31T17:51:44Z)
• Adaptive Learning Rates for Faster Stochastic Gradient Methods [6.935471115003109]
  いくつかの2次凸勾配法を改善するための適応的なステップサイズ戦略を提案する。 最初の方法は古典的なPolyakのステップサイズ(Polyak, 1987)に基づいており、この手法の最近の発展の延長である。 第2の手法であるGraDSは「勾配の多様性」によってステップサイズを再スケールする
  論文  参考訳（メタデータ） (2022-08-10T11:36:00Z)
• Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum [12.324457683544132]
  本稿では,そのようなモデル平均化手法のモーメント法を提案する。 このような運動量法の収束特性とスケーリング特性を解析する。 実験の結果,ブロックモーメントはトレーニングを加速するだけでなく,より良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T19:23:18Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
  本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。 従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
  論文  参考訳（メタデータ） (2020-09-28T15:05:39Z)
• Understanding Nesterov's Acceleration via Proximal Point Method [52.99237600875452]
  近似点法(PPM)は最適化アルゴリズムを設計するためのビルディングブロックとしてよく用いられる。 本研究では、PPM法を用いて、Nesterovの加速度勾配法(AGM)の異なるバージョンの収束解析とともに、概念的に単純な導出を提供する。
  論文  参考訳（メタデータ） (2020-05-17T17:17:18Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)
• Complexity Guarantees for Polyak Steps with Momentum [76.97851351276165]
  そこでは,この知識を最適な値である$f_*$で置き換える。 まず、Polyak ステップによる単純な勾配勾配の古典的な場合よりも若干改善された収束境界を示し、その後、収束保証とともに、Polyak ステップと運動量を持つ加速勾配法を導出する。
  論文  参考訳（メタデータ） (2020-02-03T17:50:28Z)
• Variational Optimization on Lie Groups, with Examples of Leading (Generalized) Eigenvalue Problems [10.203602318836444]
  この記事ではリー群上の関数の滑らかな最適化について考察する。 ベクトル空間におけるNAG変分原理をリー群に一般化することにより、局所最適収束を保証する連続リー-NAGダイナミクスが得られる。
  論文  参考訳（メタデータ） (2020-01-27T19:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。