論文の概要: Manifold Free Riemannian Optimization
- arxiv url: http://arxiv.org/abs/2209.03269v1
- Date: Wed, 7 Sep 2022 16:19:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-08 13:20:50.250575
- Title: Manifold Free Riemannian Optimization
- Title（参考訳）: 多様体自由リーマン最適化
- Authors: Boris Shustin, Haim Avron, and Barak Sober
- Abstract要約: 滑らかな多様体 $mathcalM$ を用いて最適化問題を解くための原理的枠組みを提案する。
代数学M におけるコスト関数 $(x_i, y_i) の雑音のないサンプル集合 mathbbR$ と多様体 $mathcalM$ の固有次元を用いる。
- 参考スコア（独自算出の注目度）: 4.484251538832438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Riemannian optimization is a principled framework for solving optimization
problems where the desired optimum is constrained to a smooth manifold
$\mathcal{M}$. Algorithms designed in this framework usually require some
geometrical description of the manifold, which typically includes tangent
spaces, retractions, and gradients of the cost function. However, in many
cases, only a subset (or none at all) of these elements can be accessed due to
lack of information or intractability. In this paper, we propose a novel
approach that can perform approximate Riemannian optimization in such cases,
where the constraining manifold is a submanifold of $\R^{D}$. At the bare
minimum, our method requires only a noiseless sample set of the cost function
$(\x_{i}, y_{i})\in {\mathcal{M}} \times \mathbb{R}$ and the intrinsic
dimension of the manifold $\mathcal{M}$. Using the samples, and utilizing the
Manifold-MLS framework (Sober and Levin 2020), we construct approximations of
the missing components entertaining provable guarantees and analyze their
computational costs. In case some of the components are given analytically
(e.g., if the cost function and its gradient are given explicitly, or if the
tangent spaces can be computed), the algorithm can be easily adapted to use the
accurate expressions instead of the approximations. We analyze the global
convergence of Riemannian gradient-based methods using our approach, and we
demonstrate empirically the strength of this method, together with a
conjugate-gradients type method based upon similar principles.
- Abstract（参考訳）: リーマン最適化(英: Riemannian optimization)は、目的とする最適化問題を滑らかな多様体 $\mathcal{M}$ に制約する原理的なフレームワークである。
このフレームワークで設計されたアルゴリズムは通常、接空間、引き抜き、コスト関数の勾配を含む多様体の幾何的記述を必要とする。
しかし多くの場合、情報不足や難読性のため、これらの要素のサブセット(または全くない)のみがアクセス可能である。
本稿では,制約多様体が$\R^{D}$の部分多様体であるような場合において,近似リーマン最適化を実現する新しい手法を提案する。
最小限の方法では、コスト関数 $(\x_{i}, y_{i})\in {\mathcal{M}} \times \mathbb{R}$ と多様体 $\mathcal{M}$ の内在次元のノイズのないサンプル集合のみを必要とする。
これらのサンプルを用いて、Manifold-MLSフレームワーク(Sober and Levin 2020)を用いて、証明可能な保証を楽しむ欠落したコンポーネントの近似を構築し、計算コストを分析する。
いくつかの成分が解析的に与えられる場合(例えば、コスト関数とその勾配が明示的に与えられる場合や、接空間を計算できる場合)、アルゴリズムは近似の代わりに正確な表現を使うように容易に適応することができる。
本手法を用いたリーマン勾配法の全球収束解析を行い,同様の原理に基づく共役勾配型手法とともに,本手法の強みを実証的に示す。
関連論文リスト
- Riemannian Bilevel Optimization [35.42472057648458]
特に,2次情報を回避することを目的とした,バッチおよび勾配に基づく手法に着目する。
本稿では,一階勾配情報を活用する手法である$mathrmRF2SA$を提案し,分析する。
様々な設定の下で、$epsilon$-stationary 点に達するための明示的な収束率を提供する。
論文 参考訳（メタデータ） (2024-05-22T20:49:01Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Decentralized Riemannian Conjugate Gradient Method on the Stiefel
Manifold [59.73080197971106]
本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。
これはスティーフェル多様体上の大域収束を達成することを目的としている。
論文 参考訳（メタデータ） (2023-08-21T08:02:16Z) - Orthogonal Directions Constrained Gradient Method: from non-linear
equality constraints to Stiefel manifold [16.099883128428054]
直交方向制約法(ODCGM)という新しいアルゴリズムを提案する。
ODCGMはベクトル空間へのプロジェクションのみを必要とする。
以上より, ODCGMは, ほぼ最適のオラクル複合体を呈することを示した。
論文 参考訳（メタデータ） (2023-03-16T12:25:53Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳（メタデータ） (2022-07-18T12:03:26Z) - Sharper Rates and Flexible Framework for Nonconvex SGD with Client and
Data Sampling [64.31011847952006]
我々は、平均$n$スムーズでおそらくは非カラー関数のほぼ定常点を求める問題を再考する。
我々は$smallsfcolorgreen$を一般化し、事実上あらゆるサンプリングメカニズムで確実に動作するようにします。
我々は、スムーズな非カラー状態における最適境界の最も一般的な、最も正確な解析を提供する。
論文 参考訳（メタデータ） (2022-06-05T21:32:33Z) - An Online Riemannian PCA for Stochastic Canonical Correlation Analysis [37.8212762083567]
投影行列の再パラメータ化を用いた正準相関解析(CCA)のための効率的なアルゴリズム(RSG+)を提案する。
本論文は,その特性の定式化と技術的解析に主眼を置いているが,本実験により,一般的なデータセットに対する経験的挙動が極めて有望であることが確認された。
論文 参考訳（メタデータ） (2021-06-08T23:38:29Z) - Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。
低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文 参考訳（メタデータ） (2021-03-27T19:56:00Z) - Multiscale regression on unknown manifolds [13.752772802705978]
マルチスケールで$mathcalM$に低次元座標を構築し、ローカルフィッティングによるマルチスケール回帰を行います。
本手法の一般化誤差を,事前のリッチクラス上で高い確率で有限サンプル境界を証明することによって解析する。
私たちのアルゴリズムは、サンプルサイズの準線形複雑性を持ち、定数は$D$で、指数は$d$です。
論文 参考訳（メタデータ） (2021-01-13T15:14:31Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳（メタデータ） (2020-12-22T12:59:30Z) - Riemannian Stochastic Proximal Gradient Methods for Nonsmooth
Optimization over the Stiefel Manifold [7.257751371276488]
R-ProxSGDとR-ProxSPBは、近位SGDと近位SpiderBoostの一般化である。
R-ProxSPBアルゴリズムは、オンラインの場合で$O(epsilon-3)$ IFOs、有限サムの場合は$O(n+sqrtnepsilon-3)$ IFOsである。
論文 参考訳（メタデータ） (2020-05-03T23:41:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。