論文の概要: Adaptive and Momentum Methods on Manifolds Through Trivializations

• arxiv url: http://arxiv.org/abs/2010.04617v1
• Date: Fri, 9 Oct 2020 14:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 06:33:39.075695
• Title: Adaptive and Momentum Methods on Manifolds Through Trivializations
• Title（参考訳）: 次元化による多様体上の適応的およびモーメント法
• Authors: Mario Lezcano-Casado
• Abstract要約: 任意の多様体に対して適応法と運動量法を一般化する枠組みを導入する。 すべての微分可能多様体に対して、ほとんどすべての多様体をカバーする放射凸開集合が存在する。 本稿では,これらの手法をリトラクション付き降下手法の文脈に拡張する方法を示す。
• 参考スコア（独自算出の注目度）: 6.85316573653194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive methods do not have a direct generalization to manifolds as the adaptive term is not invariant. Momentum methods on manifolds suffer from efficiency problems stemming from the curvature of the manifold. We introduce a framework to generalize adaptive and momentum methods to arbitrary manifolds by noting that for every differentiable manifold, there exists a radially convex open set that covers almost all the manifold. Being radially convex, this set is diffeomorphic to $\mathbb{R}^n$. This gives a natural generalization of any adaptive and momentum-based algorithm to a set that covers almost all the manifold in an arbitrary manifolds. We also show how to extend these methods to the context of gradient descent methods with a retraction. For its implementation, we bring an approximation to the exponential of matrices that needs just of 5 matrix multiplications, making it particularly efficient on GPUs. In practice, we see that this family of algorithms closes the numerical gap created by an incorrect use of momentum and adaptive methods on manifolds. At the same time, we see that the most efficient algorithm of this family is given by simply pulling back the problem to the tangent space at the initial point via the exponential map.
• Abstract（参考訳）: 適応メソッドは、適応項が不変でないため、多様体への直接一般化を持たない。 多様体上のモーメント法は、多様体の曲率から生じる効率の問題に悩まされる。 任意の多様体に対する適応法と運動量法を一般化する枠組みを導入し、すべての微分可能多様体に対して、ほとんどすべての多様体をカバーする放射凸開集合が存在することを指摘した。 放射凸であるので、この集合は $\mathbb{R}^n$ に微分同型である。 これは任意の適応的および運動量に基づくアルゴリズムを任意の多様体のほとんどすべての多様体をカバーする集合に自然な一般化を与える。 また,これらの手法をリトラクション付き勾配降下手法の文脈に拡張する方法を示す。 その実装のために、5つの行列乗算だけを必要とする行列の指数関数に近似を導入し、GPUでは特に効率的である。 実際、このアルゴリズムの族は、多様体上の運動量と適応的方法の不正確な使用によって生じる数値的ギャップを閉じている。 同時に、このファミリーの最も効率的なアルゴリズムは、指数写像を通して初期点の接空間に問題を還元することで与えられる。

関連論文リスト

• Riemannian coordinate descent algorithms on matrix manifolds [12.05722932030768]
  行列多様体上で計算効率の良い座標降下(CD)アルゴリズムを開発するための一般的なフレームワークを提供する。 我々は、Stiefel, Grassmann, (Generalized) hyperbolic, symplectic, and symmetric positive (semi) definite などの多様体に対するCDアルゴリズムを提案する。 我々はそれらの収束と複雑性を分析し、いくつかのアプリケーションでその効果を実証的に説明する。
  論文  参考訳（メタデータ） (2024-06-04T11:37:11Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold [59.73080197971106]
  本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。 これはスティーフェル多様体上の大域収束を達成することを目的としている。
  論文  参考訳（メタデータ） (2023-08-21T08:02:16Z)
• Accelerated Riemannian Optimization: Handling Constraints with a Prox to Bound Geometric Penalties [20.711789781518753]
  本研究では,スムーズな測地関数の最適化のために,グローバルに高速化された一階法を提案する。 我々はネステロフの加速降下と同じ収束率を乗法コンパクト集合まで達成する。
  論文  参考訳（メタデータ） (2022-11-26T19:28:48Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• Fast and accurate optimization on the orthogonal manifold without retraction [7.887285735878797]
  本稿では,リトラクションを伴わないランディングアルゴリズムを提案する。 このアルゴリズムは多様体上に留まることを制約されないが、その進化はポテンシャルエネルギーによって駆動される。 着陸アルゴリズムの1つは行列乗算のみを伴っているため、リトラクションアルゴリズムに比べて安価である。
  論文  参考訳（メタデータ） (2021-02-15T10:12:05Z)
• Curvature-Dependant Global Convergence Rates for Optimization on Manifolds of Bounded Geometry [6.85316573653194]
  1-有界幾何多様体上で定義される弱凸函数に対する曲率依存性収束率を与える。 最適化文献でよく用いられる多様体に対して、これらの境界を明示的に計算する。 指数写像の微分のノルムに完全一般境界の自己完備証明を与える。
  論文  参考訳（メタデータ） (2020-08-06T08:30:35Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。