論文の概要: Vector Transport Free Riemannian LBFGS for Optimization on Symmetric Positive Definite Matrix Manifolds

• arxiv url: http://arxiv.org/abs/2108.11019v1
• Date: Wed, 25 Aug 2021 02:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 13:03:46.493314
• Title: Vector Transport Free Riemannian LBFGS for Optimization on Symmetric Positive Definite Matrix Manifolds
• Title（参考訳）: 対称正定値行列多様体の最適化のためのベクトル輸送自由リーマンLBFGS
• Authors: Reza Godaz, Benyamin Ghojogh, Reshad Hosseini, Reza Monsefi, Fakhri Karray, Mark Crowley
• Abstract要約: 逆2次根とチョレスキー分解を用いた接空間における2つの写像を提案する。 同一ベクトル輸送は、RLBFGSの計算コストを低減し、そのアイソメトリーはRLBFGSの収束解析にも非常に有用である。
• 参考スコア（独自算出の注目度）: 6.71040737182206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work concentrates on optimization on Riemannian manifolds. The Limited-memory Broyden-Fletcher-Goldfarb-Shanno (LBFGS) algorithm is a commonly used quasi-Newton method for numerical optimization in Euclidean spaces. Riemannian LBFGS (RLBFGS) is an extension of this method to Riemannian manifolds. RLBFGS involves computationally expensive vector transports as well as unfolding recursions using adjoint vector transports. In this article, we propose two mappings in the tangent space using the inverse second root and Cholesky decomposition. These mappings make both vector transport and adjoint vector transport identity and therefore isometric. Identity vector transport makes RLBFGS less computationally expensive and its isometry is also very useful in convergence analysis of RLBFGS. Moreover, under the proposed mappings, the Riemannian metric reduces to Euclidean inner product, which is much less computationally expensive. We focus on the Symmetric Positive Definite (SPD) manifolds which are beneficial in various fields such as data science and statistics. This work opens a research opportunity for extension of the proposed mappings to other well-known manifolds.
• Abstract（参考訳）: この仕事はリーマン多様体の最適化に集中する。 有限メモリブロイデン・フレッチャー・ゴールドファーブ・シャンノ法(lbfgs)はユークリッド空間の数値最適化によく用いられる準ニュートン法である。 リーマン lbfgs (rlbfgs) はリーマン多様体へのこの方法の拡張である。 RLBFGSは計算コストの高いベクトル輸送と、随伴ベクトル輸送を用いた再帰の展開を含む。 本稿では,逆二次根とコールスキー分解を用いた接空間における2つの写像を提案する。 これらの写像はベクトル輸送と随伴ベクトル輸送を同一視する。 同一ベクトル輸送は、RLBFGSの計算コストを低減し、RLBFGSの収束解析にも非常に有用である。 さらに、提案された写像の下では、リーマン計量は計算コストがはるかに低いユークリッド内積に還元される。 我々は,データ科学や統計学などの様々な分野において有益である対称性正定値(SPD)多様体に着目する。 この研究は、提案された写像を他のよく知られた多様体に拡張する研究の機会を開く。

関連論文リスト

• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• FORML: A Riemannian Hessian-free Method for Meta-learning on Stiefel Manifolds [4.757859522106933]
  本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。 本手法は計算負荷とメモリフットプリントを大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T10:57:30Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• A Geometric Insight into Equivariant Message Passing Neural Networks on Riemannian Manifolds [1.0878040851638]
  座標独立な特徴体に付随する計量は、主バンドルの原計量を最適に保存すべきである。 一定の時間ステップで拡散方程式の流れを離散化することにより, 多様体上のメッセージパッシング方式を得る。 グラフ上の高次拡散過程の離散化は、同変 GNN の新しい一般クラスをもたらす。
  論文  参考訳（メタデータ） (2023-10-16T14:31:13Z)
• Posterior Contraction Rates for Mat\'ern Gaussian Processes on Riemannian Manifolds [51.68005047958965]
  我々は,本質的なガウス過程が実際により優れた性能を発揮することを示す。 我々の研究は、データ効率の異なるレベルを区別するために、よりきめ細かい分析が必要であることを示している。
  論文  参考訳（メタデータ） (2023-09-19T20:30:58Z)
• Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold [59.73080197971106]
  本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。 これはスティーフェル多様体上の大域収束を達成することを目的としている。
  論文  参考訳（メタデータ） (2023-08-21T08:02:16Z)
• Low-complexity subspace-descent over symmetric positive definite manifold [9.346050098365648]
  対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。 提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
  論文  参考訳（メタデータ） (2023-05-03T11:11:46Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• Riemannian optimization of isometric tensor networks [0.0]
  等長線のテンソルネットワークを最適化するために、勾配に基づく最適化手法が、例えば1次元量子ハミルトニアンの基底状態を表すためにどのように用いられるかを示す。 これらの手法を無限MPSとMERAの文脈に適用し、これまでに知られていた最適化手法よりも優れたベンチマーク結果を示す。
  論文  参考訳（メタデータ） (2020-07-07T17:19:05Z)
• Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold [7.257751371276488]
  R-ProxSGDとR-ProxSPBは、近位SGDと近位SpiderBoostの一般化である。 R-ProxSPBアルゴリズムは、オンラインの場合で$O(epsilon-3)$ IFOs、有限サムの場合は$O(n+sqrtnepsilon-3)$ IFOsである。
  論文  参考訳（メタデータ） (2020-05-03T23:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。