論文の概要: Nested Hyperbolic Spaces for Dimensionality Reduction and Hyperbolic NN Design

• arxiv url: http://arxiv.org/abs/2112.03402v1
• Date: Fri, 3 Dec 2021 03:20:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 13:14:08.110532
• Title: Nested Hyperbolic Spaces for Dimensionality Reduction and Hyperbolic NN Design
• Title（参考訳）: 次元化と双曲NN設計のためのネスト双曲空間
• Authors: Xiran Fan, Chun-Hao Yang, Baba C. Vemuri
• Abstract要約: ハイパーボリックニューラルネットワークは、階層的なデータセットを効率的かつ効率的に表現できることから、近年人気がある。 これらのネットワークを開発する際の課題は、埋め込み空間、すなわち双曲空間の非線形性にある。 本稿では, 射影(埋め込み)の概念と, 内在的な凝集, 双曲空間内の非線形性を併用した, 完全双曲型ニューラルネットワークを提案する。
• 参考スコア（独自算出の注目度）: 8.250374560598493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperbolic neural networks have been popular in the recent past due to their ability to represent hierarchical data sets effectively and efficiently. The challenge in developing these networks lies in the nonlinearity of the embedding space namely, the Hyperbolic space. Hyperbolic space is a homogeneous Riemannian manifold of the Lorentz group. Most existing methods (with some exceptions) use local linearization to define a variety of operations paralleling those used in traditional deep neural networks in Euclidean spaces. In this paper, we present a novel fully hyperbolic neural network which uses the concept of projections (embeddings) followed by an intrinsic aggregation and a nonlinearity all within the hyperbolic space. The novelty here lies in the projection which is designed to project data on to a lower-dimensional embedded hyperbolic space and hence leads to a nested hyperbolic space representation independently useful for dimensionality reduction. The main theoretical contribution is that the proposed embedding is proved to be isometric and equivariant under the Lorentz transformations. This projection is computationally efficient since it can be expressed by simple linear operations, and, due to the aforementioned equivariance property, it allows for weight sharing. The nested hyperbolic space representation is the core component of our network and therefore, we first compare this ensuing nested hyperbolic space representation with other dimensionality reduction methods such as tangent PCA, principal geodesic analysis (PGA) and HoroPCA. Based on this equivariant embedding, we develop a novel fully hyperbolic graph convolutional neural network architecture to learn the parameters of the projection. Finally, we present experiments demonstrating comparative performance of our network on several publicly available data sets.
• Abstract（参考訳）: ハイパーボリックニューラルネットワークは、階層的データセットを効果的かつ効率的に表現する能力があるため、近年は人気がある。 これらのネットワークを開発する際の課題は、埋め込み空間、すなわち双曲空間の非線形性にある。 双曲空間はローレンツ群の斉次リーマン多様体である。 既存の手法の多くは(いくつかの例外を除いて)局所線形化を用いて、ユークリッド空間の伝統的なディープニューラルネットワークで使われる様々な操作を並列に定義している。 本稿では,投射(埋め込み)の概念とそれに続く内在的な集約と,双曲空間内での非線形性を用いた,完全双曲型ニューラルネットワークを提案する。 ここでの新規性は、低次元の埋め込み双曲空間にデータを投影するように設計され、従って次元の減少に独立に有用な双曲双曲空間表現をもたらす。 主な理論的貢献は、提案された埋め込みがローレンツ変換の下で等尺かつ同変であることが証明されていることである。 この射影は単純な線形演算で表現できるので計算的に効率的であり、上記の等分散性のため、重み付けが可能である。 ネスト双曲空間表現はネットワークの中核成分であり,それゆえ,我々はまず,ネスト双曲空間表現と接点pca,主測地線解析(pga),ホロッパといった他の次元的縮小法との比較を行う。 この同変埋め込みに基づいて,プロジェクションのパラメータを学習するための,完全双曲グラフ畳み込みニューラルネットワークアーキテクチャを開発した。 最後に,複数の公開データセット上でのネットワークの性能比較実験を行った。

関連論文リスト

• On the Universal Statistical Consistency of Expansive Hyperbolic Deep Convolutional Neural Networks [14.904264782690639]
  本稿では,Poincar'e Discに基づくHyperbolic DCNNを提案する。 双曲空間における拡張的畳み込みの普遍的一貫性に関する広範な理論的洞察を提供する。 結果、双曲的畳み込み構造はユークリッド構造よりも可換なマージンで優れていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-15T12:01:03Z)
• On Probabilistic Pullback Metrics on Latent Hyperbolic Manifolds [5.724027955589408]
  本稿では,階層関係のモデル化に適した双曲多様体について述べる。 本稿では,VM の非線形写像によって生じる歪みを考慮に入れたプルバックメトリックによる双曲的計量の増大を提案する。 様々な実験を通して、引き戻し距離の測地学は双曲ラテント空間の幾何学を尊重するだけでなく、基礎となるデータ分布と整合することを示した。
  論文  参考訳（メタデータ） (2024-10-28T09:13:00Z)
• Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of the Same Coin [49.12496652756007]
  この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。 従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-18T14:51:46Z)
• A Unification Framework for Euclidean and Hyperbolic Graph Neural Networks [8.080621697426997]
  ハイパーボリックニューラルネットワークは、グラフデータセット固有の階層を効果的にキャプチャする。 層内の複数の非連続(ジャイロ-)ベクトル空間を絡み合わせることで、一般化と拡張性の観点から制限される。 検索空間としてPoincareディスクモデルを提案し,ディスク上にすべての近似を適用する。 我々のモデルは、解釈可能性や様々なモデルコンポーネントの効率的な実行といったユークリッドネットワークのパワーを利用するだけでなく、様々なベンチマークにおいてユークリッドと双曲の双方よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-09T05:33:02Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)
• Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
  我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。 本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。 特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
  論文  参考訳（メタデータ） (2021-04-06T01:44:15Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)
• Latent Variable Modelling with Hyperbolic Normalizing Flows [35.1659722563025]
  双曲型VAEとユークリッド正規化流に新しい正規化フローを導入する。 提案手法は,実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。
  論文  参考訳（メタデータ） (2020-02-15T07:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。