Fugu-MT 論文翻訳(概要): Simplifying Momentum-based Riemannian Submanifold Optimization

論文の概要: Simplifying Momentum-based Riemannian Submanifold Optimization

arxiv url: http://arxiv.org/abs/2302.09738v1
Date: Mon, 20 Feb 2023 03:31:11 GMT
ステータス: 処理完了
システム内更新日: 2023-02-21 16:56:46.137296
Title: Simplifying Momentum-based Riemannian Submanifold Optimization
Title（参考訳）: モーメントに基づくリーマン部分多様体最適化の簡易化
Authors: Wu Lin, Valentin Duruisseaux, Melvin Leok, Frank Nielsen, Mohammad Emtiyaz Khan, Mark Schmidt
Abstract要約: 対称正定値行列の部分多様体に対するアフィン不変距離の最適化アルゴリズムを単純化する。提案手法は,構造化共分散の既存手法を説明し,単純化し,深層学習のための効率的な2次逆数を開発する。
参考スコア（独自算出の注目度）: 33.898765318353
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Riemannian submanifold optimization with momentum is computationally challenging because ensuring iterates remain on the submanifold often requires solving difficult differential equations. We simplify such optimization algorithms for the submanifold of symmetric positive-definite matrices with the affine invariant metric. We propose a generalized version of the Riemannian normal coordinates which dynamically trivializes the problem into a Euclidean unconstrained problem. We use our approach to explain and simplify existing approaches for structured covariances and develop efficient second-order optimizers for deep learning without explicit matrix inverses.
Abstract（参考訳）: 運動量を伴うリーマン部分多様体の最適化は、しばしば難しい微分方程式を解く必要があるため、計算的に困難である。我々は、アフィン不変量を持つ対称正定値行列の部分多様体に対するそのような最適化アルゴリズムを単純化する。我々は、問題をユークリッド非制約問題に動的に自明化するリーマン正規座標の一般化版を提案する。我々は,既存の構造共分散法を説明・単純化し,明示的な行列逆数を伴わずに,ディープラーニングのための効率的な二階最適化法を開発した。

関連論文リスト

Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
論文参考訳（メタデータ） (2024-10-12T22:11:22Z)
Low-complexity subspace-descent over symmetric positive definite manifold [9.346050098365648]
対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
論文参考訳（メタデータ） (2023-05-03T11:11:46Z)
Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文参考訳（メタデータ） (2023-02-24T18:41:48Z)
Splitting numerical integration for matrix completion [0.0]
低階行列近似のための新しいアルゴリズムを提案する。このアルゴリズムは最適化の枠組みにおける古典的な勾配勾配の適応である。実験結果から,本手法は大規模問題に対して優れたスケーラビリティを有することが示された。
論文参考訳（メタデータ） (2022-02-14T04:45:20Z)
Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization [17.104994036477308]
本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
論文参考訳（メタデータ） (2021-10-14T08:35:54Z)
Nonlinear matrix recovery using optimization on the Grassmann manifold [18.655422834567577]
本研究では,列が部分空間の結合などの非線形構造に従う部分観測された高階クラスタリング行列の復元問題について検討する。交代極限はクルディカ・ロジャシ性質を用いて一意点に収束することを示す。
論文参考訳（メタデータ） (2021-09-13T16:13:13Z)
Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文参考訳（メタデータ） (2021-07-23T13:43:34Z)
Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文参考訳（メタデータ） (2021-04-13T23:21:01Z)
Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文参考訳（メタデータ） (2021-03-27T19:56:00Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。