論文の概要: Variational Optimization on Lie Groups, with Examples of Leading (Generalized) Eigenvalue Problems

• arxiv url: http://arxiv.org/abs/2001.10006v1
• Date: Mon, 27 Jan 2020 19:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 08:06:47.411274
• Title: Variational Optimization on Lie Groups, with Examples of Leading (Generalized) Eigenvalue Problems
• Title（参考訳）: リー群上の変分最適化 : 主(一般化)固有値問題の例
• Authors: Molei Tao, Tomoki Ohsawa
• Abstract要約: この記事ではリー群上の関数の滑らかな最適化について考察する。 ベクトル空間におけるNAG変分原理をリー群に一般化することにより、局所最適収束を保証する連続リー-NAGダイナミクスが得られる。
• 参考スコア（独自算出の注目度）: 10.203602318836444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The article considers smooth optimization of functions on Lie groups. By generalizing NAG variational principle in vector space (Wibisono et al., 2016) to Lie groups, continuous Lie-NAG dynamics which are guaranteed to converge to local optimum are obtained. They correspond to momentum versions of gradient flow on Lie groups. A particular case of $\mathsf{SO}(n)$ is then studied in details, with objective functions corresponding to leading Generalized EigenValue problems: the Lie-NAG dynamics are first made explicit in coordinates, and then discretized in structure preserving fashions, resulting in optimization algorithms with faithful energy behavior (due to conformal symplecticity) and exactly remaining on the Lie group. Stochastic gradient versions are also investigated. Numerical experiments on both synthetic data and practical problem (LDA for MNIST) demonstrate the effectiveness of the proposed methods as optimization algorithms ($not$ as a classification method).
• Abstract（参考訳）: この記事ではリー群上の関数の滑らかな最適化について考察する。 ベクトル空間におけるNAG変分原理(Wibisono et al., 2016)をリー群に一般化することにより、局所最適収束を保証する連続リー-NAGダイナミクスが得られる。 これらはリー群上の勾配流の運動量版に対応する。 特に$\mathsf{SO}(n)$ の場合には、先導的な一般化された固有値問題に対応する目的関数で詳細に研究される: Lie-NAG のダイナミクスは、まず座標で明示され、次に構造保存ファッションで離散化され、忠実なエネルギー挙動(共形シンプレクティック性による)を持つ最適化アルゴリズムがリー群に完全に残される。 確率勾配版も研究されている。 合成データと実用的問題 (LDA for MNIST) に関する数値実験により, 最適化アルゴリズムとして提案手法の有効性が示された(分類法としてではない)。

関連論文リスト

• A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization [83.12938977698988]
  Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。 現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。 本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T07:24:11Z)
• Quantitative Convergences of Lie Group Momentum Optimizers [21.76159063788814]
  本稿では,新たに提案された2種類の離散化,リーヘビーボールとリーNAG-SCについて検討する。 Lie Heavy-Ball と Lie NAG-SC は、グループ構造の利用により、計算的に安価で実装が容易である。
  論文  参考訳（メタデータ） (2024-05-30T18:01:14Z)
• Stochastic Hessian Fittings with Lie Groups [6.626539885456148]
  最適化問題としてのヘシアンフィッティングは、特定のが一般のリー群を持つ穏やかな条件下では強く凸である。 この発見により、ヘシアンフィッティングはよく振る舞う最適化問題となり、大規模最適化のための高効率でエレガントなリー群スパースプレコンディショナーフィッティング法の設計が容易になる。
  論文  参考訳（メタデータ） (2024-02-19T06:00:35Z)
• Optimal Potential Shaping on SE(3) via Neural ODEs on Lie Groups [4.595636071139437]
  ニューラル常微分方程式 (neural ODEs) として力学系を言い換える 数値的に最適化に取り組むために勾配降下最適化アルゴリズムを提案する。 広範な例では、剛体制御のための最適電位エネルギー整形が扱われる。
  論文  参考訳（メタデータ） (2024-01-25T16:26:44Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Generalization Properties of Stochastic Optimizers via Trajectory Analysis [48.38493838310503]
  本稿では,Fernique-Talagrand関数と局所パワーローの両方が一般化性能の予測可能であることを示す。 本稿では,Fernique-Talagrand関数と局所パワーローの両方が一般化性能の予測可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:58:32Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。