論文の概要: Riemannian Stochastic Proximal Gradient Methods for Nonsmooth
Optimization over the Stiefel Manifold
- arxiv url: http://arxiv.org/abs/2005.01209v2
- Date: Mon, 21 Mar 2022 01:07:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 06:23:21.258445
- Title: Riemannian Stochastic Proximal Gradient Methods for Nonsmooth
Optimization over the Stiefel Manifold
- Title（参考訳）: リーマン確率的近位勾配法によるスティーフェル多様体上の非滑らか最適化
- Authors: Bokun Wang, Shiqian Ma, Lingzhou Xue
- Abstract要約: R-ProxSGDとR-ProxSPBは、近位SGDと近位SpiderBoostの一般化である。
R-ProxSPBアルゴリズムは、オンラインの場合で$O(epsilon-3)$ IFOs、有限サムの場合は$O(n+sqrtnepsilon-3)$ IFOsである。
- 参考スコア（独自算出の注目度）: 7.257751371276488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Riemannian optimization has drawn a lot of attention due to its wide
applications in practice. Riemannian stochastic first-order algorithms have
been studied in the literature to solve large-scale machine learning problems
over Riemannian manifolds. However, most of the existing Riemannian stochastic
algorithms require the objective function to be differentiable, and they do not
apply to the case where the objective function is nonsmooth. In this paper, we
present two Riemannian stochastic proximal gradient methods for minimizing
nonsmooth function over the Stiefel manifold. The two methods, named R-ProxSGD
and R-ProxSPB, are generalizations of proximal SGD and proximal SpiderBoost in
Euclidean setting to the Riemannian setting. Analysis on the incremental
first-order oracle (IFO) complexity of the proposed algorithms is provided.
Specifically, the R-ProxSPB algorithm finds an $\epsilon$-stationary point with
$\O(\epsilon^{-3})$ IFOs in the online case, and $\O(n+\sqrt{n}\epsilon^{-2})$
IFOs in the finite-sum case with $n$ being the number of summands in the
objective. Experimental results on online sparse PCA and robust low-rank matrix
completion show that our proposed methods significantly outperform the existing
methods that use Riemannian subgradient information.
- Abstract（参考訳）: リーマン最適化は、実際に広く応用されているため、多くの注目を集めている。
リーマン確率的一階アルゴリズムは、リーマン多様体上の大規模機械学習問題を解くために文献で研究されている。
しかし、既存のリーマン確率アルゴリズムのほとんどは、目的函数を微分可能でなければならず、目的函数が非滑らかである場合には適用されない。
本稿では、スティフェル多様体上の非滑らか関数を最小化するための二つのリーマン確率的近位勾配法を提案する。
R-ProxSGD と R-ProxSPB という2つの手法は、ユークリッド集合における近位 SGD と近位 SpiderBoost をリーマン集合に一般化したものである。
提案するアルゴリズムのインクリメンタルな一階oracle(ifo)複雑さの分析を提供する。
具体的には、r-proxspbアルゴリズムは、オンラインのケースでは$\o(\epsilon^{-3})$ ifos、目的のサムマン数である$n$の有限サムケースでは$\o(n+\sqrt{n}\epsilon^{-2})$ ifosという、$\epsilon$定常点を見つける。
オンラインスパースPCAとロバストな低ランク行列補完実験の結果,提案手法はリーマン次数情報を用いた既存手法よりも優れていた。
関連論文リスト
- Riemannian Bilevel Optimization [35.42472057648458]
特に,2次情報を回避することを目的とした,バッチおよび勾配に基づく手法に着目する。
本稿では,一階勾配情報を活用する手法である$mathrmRF2SA$を提案し,分析する。
様々な設定の下で、$epsilon$-stationary 点に達するための明示的な収束率を提供する。
論文 参考訳（メタデータ） (2024-05-22T20:49:01Z) - Streamlining in the Riemannian Realm: Efficient Riemannian Optimization
with Loopless Variance Reduction [4.578425862931332]
本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。
ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。
フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2024-03-11T12:49:37Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Decentralized Riemannian Conjugate Gradient Method on the Stiefel
Manifold [59.73080197971106]
本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。
これはスティーフェル多様体上の大域収束を達成することを目的としている。
論文 参考訳（メタデータ） (2023-08-21T08:02:16Z) - Low-complexity subspace-descent over symmetric positive definite
manifold [9.346050098365648]
対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。
提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
論文 参考訳（メタデータ） (2023-05-03T11:11:46Z) - Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。
本稿では,2種類のミニマックスアルゴリズムを提案する。
そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
論文 参考訳（メタデータ） (2023-02-08T01:42:45Z) - Gradient-Free Methods for Deterministic and Stochastic Nonsmooth
Nonconvex Optimization [94.19177623349947]
非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。
2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。
GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
論文 参考訳（メタデータ） (2022-09-12T06:53:24Z) - Riemannian Stochastic Gradient Method for Nested Composition Optimization [0.0]
この研究は、各函数が期待を含むリーマン多様体上のネスト形式の函数の構成の最適化を考える。
このような問題は、強化学習における政策評価やメタラーニングにおけるモデルカスタマイズといった応用において人気が高まっている。
論文 参考訳（メタデータ） (2022-07-19T15:58:27Z) - First-Order Algorithms for Min-Max Optimization in Geodesic Metric
Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。
指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文 参考訳（メタデータ） (2022-06-04T18:53:44Z) - Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。
低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文 参考訳（メタデータ） (2021-03-27T19:56:00Z) - Stochastic Zeroth-order Riemannian Derivative Estimation and
Optimization [15.78743548731191]
多様体非線型性の非線型性の難しさを克服するために、ガウス滑らか化関数のオラクル版を提案する。
ニューラルネットワークに対するロボティクスとブラックボックス攻撃に対するブラックボックス剛性制御における,結果によるアルゴリズムの適用性と実世界の応用を実証する。
論文 参考訳（メタデータ） (2020-03-25T06:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。