論文の概要: Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning

• arxiv url: http://arxiv.org/abs/2302.09738v4
• Date: Wed, 7 Jun 2023 02:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 19:14:53.313544
• Title: Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning
• Title（参考訳）: モーメントベース正定値部分多様体最適化の簡易化とディープラーニングへの応用
• Authors: Wu Lin, Valentin Duruisseaux, Melvin Leok, Frank Nielsen, Mohammad Emtiyaz Khan, Mark Schmidt
• Abstract要約: 我々は、アフィン不変距離を持つ構造化対称正定値行列のクラスに対する難しい微分方程式を解く。 我々は、計量を動的に正規化し、局所的にユークリッド空間の非制約問題に変換するリーマン正規座標の一般化版を提案する。
• 参考スコア（独自算出の注目度）: 33.898765318353
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Riemannian submanifold optimization with momentum is computationally challenging because, to ensure that the iterates remain on the submanifold, we often need to solve difficult differential equations. Here, we simplify such difficulties for a class of structured symmetric positive-definite matrices with the affine-invariant metric. We do so by proposing a generalized version of the Riemannian normal coordinates that dynamically orthonormalizes the metric and locally converts the problem into an unconstrained problem in the Euclidean space. We use our approach to simplify existing approaches for structured covariances and develop matrix-inverse-free $2^\text{nd}$-order optimizers for deep learning in low precision settings. Code: https://github.com/yorkerlin/StructuredNGD-DL
• Abstract（参考訳）: 運動量を持つリーマン部分多様体の最適化は、イテレートが部分多様体上に残ることを保証するために、しばしば難しい微分方程式を解く必要があるため、計算的に難しい。 ここでは、アフィン不変距離を持つ構造化対称正定行列のクラスに対するそのような困難を単純化する。 我々は、計量を動的に正規化するリーマン正規座標の一般化バージョンを提案し、その問題をユークリッド空間の非拘束問題へと局所的に変換する。 我々は,既存の構造共分散法を単純化し,精度の低い深層学習のための行列逆自由2^\text{nd}$-orderオプティマイザを開発した。 コード: https://github.com/yorkerlin/structuredngd-dl

関連論文リスト

• Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
  対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。 構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
  論文  参考訳（メタデータ） (2024-10-12T22:11:22Z)
• Low-complexity subspace-descent over symmetric positive definite manifold [9.346050098365648]
  対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。 提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
  論文  参考訳（メタデータ） (2023-05-03T11:11:46Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Splitting numerical integration for matrix completion [0.0]
  低階行列近似のための新しいアルゴリズムを提案する。 このアルゴリズムは最適化の枠組みにおける古典的な勾配勾配の適応である。 実験結果から,本手法は大規模問題に対して優れたスケーラビリティを有することが示された。
  論文  参考訳（メタデータ） (2022-02-14T04:45:20Z)
• Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization [17.104994036477308]
  本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。 ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T08:35:54Z)
• Nonlinear matrix recovery using optimization on the Grassmann manifold [18.655422834567577]
  本研究では,列が部分空間の結合などの非線形構造に従う部分観測された高階クラスタリング行列の復元問題について検討する。 交代極限はクルディカ・ロジャシ性質を用いて一意点に収束することを示す。
  論文  参考訳（メタデータ） (2021-09-13T16:13:13Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。