論文の概要: A Differential Geometry Perspective on Orthogonal Recurrent Models

• arxiv url: http://arxiv.org/abs/2102.09589v1
• Date: Thu, 18 Feb 2021 19:39:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-22 13:21:33.991333
• Title: A Differential Geometry Perspective on Orthogonal Recurrent Models
• Title（参考訳）: 直交リカレントモデルにおける微分幾何学的視点
• Authors: Omri Azencot, N. Benjamin Erichson, Mirela Ben-Chen, Michael W. Mahoney
• Abstract要約: 我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
• 参考スコア（独自算出の注目度）: 56.09491978954866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, orthogonal recurrent neural networks (RNNs) have emerged as state-of-the-art models for learning long-term dependencies. This class of models mitigates the exploding and vanishing gradients problem by design. In this work, we employ tools and insights from differential geometry to offer a novel perspective on orthogonal RNNs. We show that orthogonal RNNs may be viewed as optimizing in the space of divergence-free vector fields. Specifically, based on a well-known result in differential geometry that relates vector fields and linear operators, we prove that every divergence-free vector field is related to a skew-symmetric matrix. Motivated by this observation, we study a new recurrent model, which spans the entire space of vector fields. Our method parameterizes vector fields via the directional derivatives of scalar functions. This requires the construction of latent inner product, gradient, and divergence operators. In comparison to state-of-the-art orthogonal RNNs, our approach achieves comparable or better results on a variety of benchmark tasks.
• Abstract（参考訳）: 近年,長期依存を学習するための最先端モデルとして直交リカレントニューラルネットワーク(RNN)が登場している。 このモデルのクラスは、設計によるグラデーション問題の爆発と消失を緩和します。 本研究では, 微分幾何学からのツールと洞察を用いて, 直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 具体的には、ベクトル場と線型作用素を関連付ける微分幾何学のよく知られた結果に基づいて、すべての発散自由ベクトル場がスキュー対称行列と関連していることを証明する。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。 本手法はスカラー関数の方向微分を通じてベクトル場をパラメータ化する。 これは潜伏内積、勾配および発散作用素の構成を必要とする。 我々の手法は,最先端の直交RNNと比較して,様々なベンチマークタスクにおいて同等あるいはより良い結果が得られる。

関連論文リスト

• An Intrinsic Vector Heat Network [64.55434397799728]
  本稿では,3次元に埋め込まれた接ベクトル場を学習するためのニューラルネットワークアーキテクチャを提案する。 本研究では, ベクトル値の特徴データを空間的に伝播させるために, トレーニング可能なベクトル熱拡散モジュールを提案する。 また,四面体メッシュ生成の産業的有用性に対する本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-14T00:40:31Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Semisupervised regression in latent structure networks on unknown manifolds [7.5722195869569]
  ランダムドット積グラフは、それぞれの潜在位置の内積によって与えられる確率を持つ2つのノードの間にエッジを形成する。 本稿では,サンプル外ノードの応答変数を予測するために,多様体学習およびグラフ埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T00:41:04Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis [3.5450828190071655]
  因果作用素(COs)は、現代の分析において中心的な役割を果たす。 COを近似できるディープラーニング(DL)モデルを設計するための標準的なフレームワークはまだ存在しない。 本稿では、DLモデル設計フレームワークを導入することにより、このオープンな問題に対する「幾何学的認識」ソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-24T14:43:03Z)
• Input Convex Gradient Networks [7.747759814657507]
  ニューラルネットワークによりパラメータ化されたヤコビアンベクトル積を統合することにより凸勾配をモデル化する方法を検討する。 我々は,単一層ICGNが単一層ICNNよりもおもちゃの例に適合できることを実証的に実証した。
  論文  参考訳（メタデータ） (2021-11-23T22:51:25Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Feature Engineering with Regularity Structures [4.082216579462797]
  機械学習タスクの特徴として,正則構造理論からのモデルの利用について検討する。 本研究では、時空信号に付随するモデル特徴ベクトルの柔軟な定義と、これらの特徴を線形回帰と組み合わせる方法を示す2つのアルゴリズムを提供する。 我々はこれらのアルゴリズムを、与えられた強制と境界データを用いてPDEの解を学ぶために設計されたいくつかの数値実験に適用する。
  論文  参考訳（メタデータ） (2021-08-12T17:53:47Z)
• Disentangled Representation Learning and Generation with Manifold Optimization [10.69910379275607]
  本研究は,変分方向の促進による絡み合いを明確に促進する表現学習フレームワークを提案する。 理論的な議論と様々な実験により、提案モデルは、生成品質と非絡み合い表現学習の両方の観点から、多くのVAE変種よりも改善されていることが示された。
  論文  参考訳（メタデータ） (2020-06-12T10:00:49Z)
• Understanding Graph Neural Networks with Generalized Geometric Scattering Transforms [67.88675386638043]
  散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。 非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。 これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
  論文  参考訳（メタデータ） (2019-11-14T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。