論文の概要: Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds
- arxiv url: http://arxiv.org/abs/2103.14974v1
- Date: Sat, 27 Mar 2021 19:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 14:31:46.654994
- Title: Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds
- Title（参考訳）: 低ランク行列およびテンソル-トレイン多様体上のリーマン最適化の自動微分
- Authors: Alexander Novikov, Maxim Rakhuba, Ivan Oseledets
- Abstract要約: 科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。
低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
- 参考スコア（独自算出の注目度）: 71.94111815357064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In scientific computing and machine learning applications, matrices and more
general multidimensional arrays (tensors) can often be approximated with the
help of low-rank decompositions. Since matrices and tensors of fixed rank form
smooth Riemannian manifolds, one of the popular tools for finding the low-rank
approximations is to use the Riemannian optimization. Nevertheless, efficient
implementation of Riemannian gradients and Hessians, required in Riemannian
optimization algorithms, can be a nontrivial task in practice. Moreover, in
some cases, analytic formulas are not even available. In this paper, we build
upon automatic differentiation and propose a method that, given an
implementation of the function to be minimized, efficiently computes Riemannian
gradients and matrix-by-vector products between approximate Riemannian Hessian
and a given vector.
- Abstract（参考訳）: 科学計算や機械学習の応用において、行列やより一般的な多次元配列(テンソル)は低ランク分解の助けを借りて近似することができる。
固定階数の行列とテンソルは滑らかなリーマン多様体を形成するので、低ランク近似を求める一般的な道具の1つはリーマン最適化を使うことである。
それでも、リーマン最適化アルゴリズムで必要とされるリーマン勾配とヘッセンの効率的な実装は、実際には非自明なタスクである。
さらに、いくつかのケースでは、解析公式は利用できない。
本稿では,関数の最小化を前提として,近似リーマン Hessian と与えられたベクトルの間のリーマン勾配と行列・バイ・ベクトル積を効率的に計算する手法を提案する。
関連論文リスト
- Riemannian coordinate descent algorithms on matrix manifolds [12.05722932030768]
行列多様体上で計算効率の良い座標降下(CD)アルゴリズムを開発するための一般的なフレームワークを提供する。
我々は、Stiefel, Grassmann, (Generalized) hyperbolic, symplectic, and symmetric positive (semi) definite などの多様体に対するCDアルゴリズムを提案する。
我々はそれらの収束と複雑性を分析し、いくつかのアプリケーションでその効果を実証的に説明する。
論文 参考訳（メタデータ） (2024-06-04T11:37:11Z) - Riemannian Bilevel Optimization [35.42472057648458]
特に,2次情報を回避することを目的とした,バッチおよび勾配に基づく手法に着目する。
本稿では,一階勾配情報を活用する手法である$mathrmRF2SA$を提案し,分析する。
様々な設定の下で、$epsilon$-stationary 点に達するための明示的な収束率を提供する。
論文 参考訳（メタデータ） (2024-05-22T20:49:01Z) - FORML: A Riemannian Hessian-free Method for Meta-learning on Stiefel Manifolds [4.757859522106933]
本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。
本手法は計算負荷とメモリフットプリントを大幅に削減する。
論文 参考訳（メタデータ） (2024-02-28T10:57:30Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳（メタデータ） (2023-11-04T11:12:24Z) - Low-complexity subspace-descent over symmetric positive definite
manifold [9.346050098365648]
対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。
提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
論文 参考訳（メタデータ） (2023-05-03T11:11:46Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳（メタデータ） (2022-06-22T23:57:40Z) - Geometry-aware Bayesian Optimization in Robotics using Riemannian
Mat\'ern Kernels [64.62221198500467]
ベイズ最適化のための幾何対応カーネルの実装方法を示す。
この技術は、ロボット工学における制御パラメータチューニング、パラメトリックポリシー適応、構造設計に利用できる。
論文 参考訳（メタデータ） (2021-11-02T09:47:22Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Mat\'ern Gaussian processes on Riemannian manifolds [81.15349473870816]
ガウス過程の広く用いられるマタン類を一般化する方法を示す。
また、Mat'ern から広く用いられる2乗指数過程への一般化も拡張する。
論文 参考訳（メタデータ） (2020-06-17T21:05:42Z) - Riemannian Stochastic Proximal Gradient Methods for Nonsmooth
Optimization over the Stiefel Manifold [7.257751371276488]
R-ProxSGDとR-ProxSPBは、近位SGDと近位SpiderBoostの一般化である。
R-ProxSPBアルゴリズムは、オンラインの場合で$O(epsilon-3)$ IFOs、有限サムの場合は$O(n+sqrtnepsilon-3)$ IFOsである。
論文 参考訳（メタデータ） (2020-05-03T23:41:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。