論文の概要: Quantitative Convergences of Lie Group Momentum Optimizers
- arxiv url: http://arxiv.org/abs/2405.20390v1
- Date: Thu, 30 May 2024 18:01:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 18:34:31.590393
- Title: Quantitative Convergences of Lie Group Momentum Optimizers
- Title（参考訳）: Lie Group Momentum Optimizersの定量的収束性
- Authors: Lingkai Kong, Molei Tao,
- Abstract要約: 本稿では,新たに提案された2種類の離散化,リーヘビーボールとリーNAG-SCについて検討する。
Lie Heavy-Ball と Lie NAG-SC は、グループ構造の利用により、計算的に安価で実装が容易である。
- 参考スコア（独自算出の注目度）: 21.76159063788814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explicit, momentum-based dynamics that optimize functions defined on Lie groups can be constructed via variational optimization and momentum trivialization. Structure preserving time discretizations can then turn this dynamics into optimization algorithms. This article investigates two types of discretization, Lie Heavy-Ball, which is a known splitting scheme, and Lie NAG-SC, which is newly proposed. Their convergence rates are explicitly quantified under $L$-smoothness and local strong convexity assumptions. Lie NAG-SC provides acceleration over the momentumless case, i.e. Riemannian gradient descent, but Lie Heavy-Ball does not. When compared to existing accelerated optimizers for general manifolds, both Lie Heavy-Ball and Lie NAG-SC are computationally cheaper and easier to implement, thanks to their utilization of group structure. Only gradient oracle and exponential map are required, but not logarithm map or parallel transport which are computational costly.
- Abstract（参考訳）: リー群上で定義される関数を最適化する明示的で運動量に基づく力学は、変分最適化と運動量自明化によって構築することができる。
構造保存時間離散化は、このダイナミクスを最適化アルゴリズムに変換する。
本稿では,分割方式として知られたLie Heavy-Ballと,新たに提案されたLie NAG-SCの2種類の離散化について検討する。
それらの収束速度は、$L$-smoothness と局所強い凸性仮定の下で明示的に定量化される。
リー NAG-SC は運動量を持たない場合、すなわちリーマン勾配降下を加速するが、リー重ボールは加速しない。
一般多様体に対する既存の加速オプティマイザと比較して、リー・ヘビーボールとリー・NAG-SCは、群構造の利用により、計算的に安価で実装が容易である。
勾配オラクルと指数写像のみを必要とするが、計算コストのかかる対数写像や平行輸送は必要ではない。
関連論文リスト
- Convergence of Kinetic Langevin Monte Carlo on Lie groups [21.76159063788814]
結果の速度論的ラウンジビン型サンプリングダイナミクスを微妙に識別し,Lie群MCMCサンプリング器を提案する。
これは、曲線空間上での動力学ランゲヴィンの初めての収束結果であり、凸性を必要としない、あるいは少なくとも明示的には、イソペリメトリのような一般的な緩和を必要としない最初の定量的結果である。
論文 参考訳（メタデータ） (2024-03-18T17:50:20Z) - AcceleratedLiNGAM: Learning Causal DAGs at the speed of GPUs [57.12929098407975]
既存の因果探索法を効率的に並列化することにより,数千次元まで拡張可能であることを示す。
具体的には、DirectLiNGAMの因果順序付けサブプロデューサに着目し、GPUカーネルを実装して高速化する。
これにより、遺伝子介入による大規模遺伝子発現データに対する因果推論にDirectLiNGAMを適用することで、競争結果が得られる。
論文 参考訳（メタデータ） (2024-03-06T15:06:11Z) - Optimal Potential Shaping on SE(3) via Neural ODEs on Lie Groups [4.595636071139437]
ニューラル常微分方程式 (neural ODEs) として力学系を言い換える
数値的に最適化に取り組むために勾配降下最適化アルゴリズムを提案する。
広範な例では、剛体制御のための最適電位エネルギー整形が扱われる。
論文 参考訳（メタデータ） (2024-01-25T16:26:44Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Accelerated Distributed Aggregative Optimization [5.5491171448159715]
本稿では,分散集約最適化問題の解法として,DAGT-HBとDAGT-NESという2つの新しいアルゴリズムを提案する。
DAGT-HBとDAGT-NESのアルゴリズムは、大域的な$mathbfR-$linear収束率で最適解に収束できる。
論文 参考訳（メタデータ） (2023-04-17T08:11:01Z) - Optimizing Information-theoretical Generalization Bounds via Anisotropic
Noise in SGLD [73.55632827932101]
SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。
低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
論文 参考訳（メタデータ） (2021-10-26T15:02:27Z) - Momentum Doesn't Change the Implicit Bias [36.301490759243876]
我々は運動量に基づく最適化の暗黙バイアスを分析する。
モデルパラメータと最大マージン解の間のギャップを解析するためのツールとして,新しいリアプノフ関数を構築した。
論文 参考訳（メタデータ） (2021-10-08T04:37:18Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Parameter-free Locally Accelerated Conditional Gradients [91.19349793915615]
私たちは小説を紹介します。
自由局所加速cg(pf-lacg)アルゴリズムは,厳密な収束保証を提供する。
我々の理論結果は,局所加速度を実証し,非加速アルゴリズムに対するPF-LaCGの実用的改善を示す数値実験によって補完される。
論文 参考訳（メタデータ） (2021-02-12T22:50:01Z) - Variational Optimization on Lie Groups, with Examples of Leading
(Generalized) Eigenvalue Problems [10.203602318836444]
この記事ではリー群上の関数の滑らかな最適化について考察する。
ベクトル空間におけるNAG変分原理をリー群に一般化することにより、局所最適収束を保証する連続リー-NAGダイナミクスが得られる。
論文 参考訳（メタデータ） (2020-01-27T19:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。