論文の概要: Fully Hyperbolic Neural Networks
- arxiv url: http://arxiv.org/abs/2105.14686v1
- Date: Mon, 31 May 2021 03:36:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 17:44:23.118645
- Title: Fully Hyperbolic Neural Networks
- Title（参考訳）: 完全双曲型ニューラルネットワーク
- Authors: Weize Chen, Xu Han, Yankai Lin, Hexu Zhao, Zhiyuan Liu, Peng Li,
Maosong Sun, Jie Zhou
- Abstract要約: ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。
提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
- 参考スコア（独自算出の注目度）: 63.22521652077353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperbolic neural networks have shown great potential for modeling complex
data. However, existing hyperbolic networks are not completely hyperbolic, as
they encode features in a hyperbolic space yet formalize most of their
operations in the tangent space (a Euclidean subspace) at the origin of the
hyperbolic space. This hybrid method greatly limits the modeling ability of
networks. In this paper, we propose a fully hyperbolic framework to build
hyperbolic networks based on the Lorentz model by adapting the Lorentz
transformations (including boost and rotation) to formalize essential
operations of neural networks. Moreover, we also prove that linear
transformation in tangent spaces used by existing hyperbolic networks is a
relaxation of the Lorentz rotation and does not include the boost, implicitly
limiting the capabilities of existing hyperbolic networks. The experimental
results on four NLP tasks show that our method has better performance for
building both shallow and deep networks. Our code will be released to
facilitate follow-up research.
- Abstract（参考訳）: 双曲型ニューラルネットワークは複雑なデータをモデル化する大きな可能性を示している。
しかし、既存の双曲型ネットワークは完全に双曲型ではない、なぜならそれらは双曲型空間における特徴を符号化するが、双曲型空間の起源である接空間(ユークリッド部分空間)におけるそれらの操作のほとんどを形式化するからである。
このハイブリッド手法はネットワークのモデリング能力を著しく制限する。
本稿では,ロレンツ変換(ブーストとローテーションを含む)をニューラルネットワークの基本動作に適合させることにより,ロレンツモデルに基づく双曲型ネットワークを構築するための完全双曲型フレームワークを提案する。
さらに、既存の双曲的ネットワークで使われる接空間における線型変換はローレンツ回転の緩和であり、既存の双曲的ネットワークの能力に暗黙的に制限されたブーストを含まないことも証明する。
4つのnlpタスクの実験結果から,浅層ネットワークと深層ネットワークの両方を構築する際の性能が向上した。
私たちのコードはフォローアップリサーチを促進するためにリリースされます。
関連論文リスト
- Hypformer: Exploring Efficient Hyperbolic Transformer Fully in Hyperbolic Space [47.4014545166959]
双曲幾何学のローレンツモデルに基づく新しい双曲変換器Hypformerを導入する。
我々は,双曲空間における線形自己保持機構を開発し,双曲変換器が数十億のグラフデータと時系列入力を初めて処理できるようにする。
論文 参考訳（メタデータ） (2024-07-01T13:44:38Z) - Hyperbolic vs Euclidean Embeddings in Few-Shot Learning: Two Sides of
the Same Coin [49.12496652756007]
この結果から, 共通の双曲半径での双曲埋め込みが達成できることが示唆された。
従来のベンチマーク結果とは対照的に、ユークリッド計量を備えた固定半径エンコーダにより、より良い性能が得られることを示す。
論文 参考訳（メタデータ） (2023-09-18T14:51:46Z) - Fully Hyperbolic Convolutional Neural Networks for Computer Vision [3.3964154468907486]
コンピュータビジョンタスク用に設計された完全双曲型畳み込みニューラルネットワーク(CNN)であるHCNNを紹介する。
ローレンツモデルに基づいて、畳み込み層の新規な定式化、バッチ正規化、多項ロジスティック回帰を提案する。
標準的なビジョンタスクの実験は、HCNNフレームワークをハイブリッドと完全に双曲的な設定の両方で有望な性能を示す。
論文 参考訳（メタデータ） (2023-03-28T12:20:52Z) - A Unification Framework for Euclidean and Hyperbolic Graph Neural
Networks [8.080621697426997]
ハイパーボリックニューラルネットワークは、グラフデータセット固有の階層を効果的にキャプチャする。
層内の複数の非連続(ジャイロ-)ベクトル空間を絡み合わせることで、一般化と拡張性の観点から制限される。
検索空間としてPoincareディスクモデルを提案し,ディスク上にすべての近似を適用する。
我々のモデルは、解釈可能性や様々なモデルコンポーネントの効率的な実行といったユークリッドネットワークのパワーを利用するだけでなく、様々なベンチマークにおいてユークリッドと双曲の双方よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-09T05:33:02Z) - Trivial bundle embeddings for learning graph representations [9.070194145842489]
本稿では,ノード特徴の有無にかかわらず,ネットワークの帰納的ノード表現を学習する帰納的モデルを提案する。
実際には、ユークリッドや双曲GCNと比較してリンク予測とノード分類の誤差を低減する。
論文 参考訳（メタデータ） (2021-12-05T10:26:46Z) - Nested Hyperbolic Spaces for Dimensionality Reduction and Hyperbolic NN
Design [8.250374560598493]
ハイパーボリックニューラルネットワークは、階層的なデータセットを効率的かつ効率的に表現できることから、近年人気がある。
これらのネットワークを開発する際の課題は、埋め込み空間、すなわち双曲空間の非線形性にある。
本稿では, 射影(埋め込み)の概念と, 内在的な凝集, 双曲空間内の非線形性を併用した, 完全双曲型ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-12-03T03:20:27Z) - Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。
本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。
特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
論文 参考訳（メタデータ） (2021-04-06T01:44:15Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳（メタデータ） (2020-06-15T08:23:20Z) - Differentiating through the Fr\'echet Mean [51.32291896926807]
フレット平均(Fr'echet mean)はユークリッド平均の一般化である。
任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。
これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
論文 参考訳（メタデータ） (2020-02-29T19:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。