論文の概要: A Survey of Geometric Optimization for Deep Learning: From Euclidean
Space to Riemannian Manifold
- arxiv url: http://arxiv.org/abs/2302.08210v1
- Date: Thu, 16 Feb 2023 10:50:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 14:06:07.703281
- Title: A Survey of Geometric Optimization for Deep Learning: From Euclidean
Space to Riemannian Manifold
- Title（参考訳）: ディープラーニングのための幾何学的最適化に関するサーベイ:ユークリッド空間からリーマン多様体へ
- Authors: Yanhong Fei, Xian Wei, Yingjie Liu, Zhengyu Li, Mingsong Chen
- Abstract要約: ディープラーニング(DL)は複雑な人工知能(AI)タスクで成功したが、様々な悪名高い問題に悩まされている。
本稿では、DLにおける幾何最適化の適用に関する総合的な調査について述べる。
畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスファー学習、最適輸送など、さまざまなAIタスクにおける異なるDLネットワークにおける幾何学的最適化の適用について検討する。
- 参考スコア（独自算出の注目度）: 7.737713458418288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although Deep Learning (DL) has achieved success in complex Artificial
Intelligence (AI) tasks, it suffers from various notorious problems (e.g.,
feature redundancy, and vanishing or exploding gradients), since updating
parameters in Euclidean space cannot fully exploit the geometric structure of
the solution space. As a promising alternative solution, Riemannian-based DL
uses geometric optimization to update parameters on Riemannian manifolds and
can leverage the underlying geometric information. Accordingly, this article
presents a comprehensive survey of applying geometric optimization in DL. At
first, this article introduces the basic procedure of the geometric
optimization, including various geometric optimizers and some concepts of
Riemannian manifold. Subsequently, this article investigates the application of
geometric optimization in different DL networks in various AI tasks, e.g.,
convolution neural network, recurrent neural network, transfer learning, and
optimal transport. Additionally, typical public toolboxes that implement
optimization on manifold are also discussed. Finally, this article makes a
performance comparison between different deep geometric optimization methods
under image recognition scenarios.
- Abstract（参考訳）: ディープラーニング(DL)は複雑な人工知能(AI)タスクで成功したが、ユークリッド空間におけるパラメータの更新は解空間の幾何学的構造を完全に活用できないため、様々な悪名高い問題(例えば、特徴冗長性、消滅または爆発的な勾配)に悩まされている。
有望な代替として、リーマン系dlは幾何学的最適化を用いてリーマン多様体のパラメータを更新し、基礎となる幾何学的情報を活用することができる。
そこで本稿では,dlにおける幾何最適化の適用に関する包括的調査を行う。
まず、様々な幾何学的最適化とリーマン多様体の概念を含む幾何学的最適化の基本手順を紹介する。
その後、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスファー学習、最適輸送など、さまざまなAIタスクにおける異なるDLネットワークにおける幾何的最適化の適用について検討する。
さらに、多様体に最適化を実装する典型的な公開ツールボックスについても論じる。
最後に,画像認識のシナリオにおいて,異なる深層幾何最適化手法の性能比較を行う。
関連論文リスト
- Randomized Geometric Algebra Methods for Convex Neural Networks [45.318490912354825]
我々はクリフォードの幾何代数にランダム化アルゴリズムを導入し、超複素ベクトル空間にランダム化線形代数を一般化する。
この新しいアプローチは、凸最適化によるグローバル最適性へのニューラルネットワークのトレーニングを含む、機械学習に多くの意味を持つ。
論文 参考訳（メタデータ） (2024-06-04T22:22:39Z) - Riemannian Self-Attention Mechanism for SPD Networks [34.794770395408335]
本稿では,SPD多様体自己アテンション機構(SMSA)を提案する。
構造化表現の識別を改善するためにSMSAベースの幾何学習モジュール(SMSA-GL)を設計する。
論文 参考訳（メタデータ） (2023-11-28T12:34:46Z) - Physics-informed neural networks for transformed geometries and
manifolds [0.0]
本稿では,幾何学的変分を頑健に適合させるために,PINN内に幾何変換を統合する新しい手法を提案する。
従来のPINNに対して,特に幾何学的変動下での柔軟性の向上を実証する。
提案したフレームワークは、パラメータ化されたジオメトリ上でのディープ・ニューラル演算子のトレーニングの展望を示す。
論文 参考訳（メタデータ） (2023-11-27T15:47:33Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。
実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-03-26T18:31:52Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳（メタデータ） (2022-06-22T23:57:40Z) - Geometric Methods for Sampling, Optimisation, Inference and Adaptive
Agents [102.42623636238399]
我々は,サンプリング,最適化,推論,適応的意思決定といった問題に根ざした基本的な幾何学的構造を同定する。
これらの問題を効率的に解くためにこれらの幾何学的構造を利用するアルゴリズムを導出する。
論文 参考訳（メタデータ） (2022-03-20T16:23:17Z) - On Geometric Connections of Embedded and Quotient Geometries in
Riemannian Fixed-rank Matrix Optimization [5.876141028192136]
本稿では,埋め込みおよび商測地の下でのリーマン最適化問題の幾何学的ランドスケープ接続を確立するための一般的な手順を提案する。
固定ランク行列最適化において,特定のリーマン測度を持つ2つの測度間のアルゴリズム的接続を観測する。
結果は、文学における未回答の疑問に対して、いくつかの新しい理論的洞察を与える。
論文 参考訳（メタデータ） (2021-10-23T03:13:56Z) - Hybrid neural network reduced order modelling for turbulent flows with
geometric parameters [0.0]
本稿では,幾何的パラメータ化不可能な乱流Navier-Stokes問題の解法として,古典的ガレルキン射影法とデータ駆動法を併用して,多目的かつ高精度なアルゴリズムを提案する。
本手法の有効性は,古典学のバックステップ問題と形状変形Ahmed体応用の2つの異なるケースで実証された。
論文 参考訳（メタデータ） (2021-07-20T16:06:18Z) - ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。
複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
論文 参考訳（メタデータ） (2021-02-16T04:07:13Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳（メタデータ） (2020-04-25T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。