論文の概要: Fast and Geometrically Grounded Lorentz Neural Networks

• arxiv url: http://arxiv.org/abs/2601.21529v1
• Date: Thu, 29 Jan 2026 10:44:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.744456
• Title: Fast and Geometrically Grounded Lorentz Neural Networks
• Title（参考訳）: 高速かつ幾何学的に接地されたローレンツニューラルネットワーク
• Authors: Robert van der Klis, Ricardo Chávez Torres, Max van Spengler, Yuhui Ding, Thomas Hofmann, Pascal Mettes,
• Abstract要約: 双曲型ニューラルネットの定式化は効率的で,双曲型空間の重要な特性を捉えることができる。 現在のローレンツ線型層の定式化により、出力の双曲ノルムは勾配降下ステップの数と対数的にスケールすることが証明される。 我々の新しい定式化とローレンツの活性化関数によるさらなる効率性、そして新しいキャッシング戦略により、ニューラルネットワークは双曲幾何学によって完全に支配される。
• 参考スコア（独自算出の注目度）: 44.564864487582525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperbolic space is quickly gaining traction as a promising geometry for hierarchical and robust representation learning. A core open challenge is the development of a mathematical formulation of hyperbolic neural networks that is both efficient and captures the key properties of hyperbolic space. The Lorentz model of hyperbolic space has been shown to enable both fast forward and backward propagation. However, we prove that, with the current formulation of Lorentz linear layers, the hyperbolic norms of the outputs scale logarithmically with the number of gradient descent steps, nullifying the key advantage of hyperbolic geometry. We propose a new Lorentz linear layer grounded in the well-known ``distance-to-hyperplane" formulation. We prove that our formulation results in the usual linear scaling of output hyperbolic norms with respect to the number of gradient descent steps. Our new formulation, together with further algorithmic efficiencies through Lorentzian activation functions and a new caching strategy results in neural networks fully abiding by hyperbolic geometry while simultaneously bridging the computation gap to Euclidean neural networks. Code available at: https://github.com/robertdvdk/hyperbolic-fully-connected.
• Abstract（参考訳）: 双曲空間は階層的かつ堅牢な表現学習のための有望な幾何学として急速に勢いを増している。 核となるオープンな課題は、双曲型ニューラルネットワークの数学的定式化の開発であり、これは効率が高く、双曲型空間の重要な性質を捉えている。 双曲空間のローレンツモデルは、高速な前方と後方の伝播を可能にすることが示されている。 しかし、現在のローレンツ線型層の定式化により、出力の双曲ノルムは勾配降下ステップの数と対数的にスケールし、双曲幾何学の重要な利点を無効化する。 我々は、よく知られた 'distance-to-hyperplane' の定式化を基礎とした新しいローレンツ線型層を提案する。 我々の定式化は、勾配降下ステップの数に関して、出力双曲ノルムの通常の線形スケーリングをもたらすことを証明している。 我々の新しい定式化は、ローレンツのアクティベーション関数によるさらなるアルゴリズム効率と、新しいキャッシング戦略と共に、ユークリッドニューラルネットワークに計算ギャップを同時にブリッジしながら、双曲的幾何によって完全に占有されるニューラルネットワークをもたらす。 コードは、https://github.com/robertdvdk/hyperbolic-fully-connect.comで公開されている。

関連論文リスト

• Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
  勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。 これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
  論文  参考訳（メタデータ） (2025-12-12T14:16:35Z)
• Lorentzian Residual Neural Networks [15.257990326035694]
  双曲幾何学のローレンツモデルにおいて、重み付けされたローレンツ中心体に基づく新しいローレンツ残留ニューラルネットワークであるLResNetを導入する。 本手法は,階層的表現能力を保ちながら,双曲型ニューラルネットワークにおける残差接続の効率的な統合を可能にする。 ハイパーボリックな埋め込み空間において、より表現力のあるニューラルネットワークを構築するためのLResNetの可能性を強調した。
  論文  参考訳（メタデータ） (2024-12-19T09:56:01Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• A Unification Framework for Euclidean and Hyperbolic Graph Neural Networks [8.080621697426997]
  ハイパーボリックニューラルネットワークは、グラフデータセット固有の階層を効果的にキャプチャする。 層内の複数の非連続(ジャイロ-)ベクトル空間を絡み合わせることで、一般化と拡張性の観点から制限される。 検索空間としてPoincareディスクモデルを提案し,ディスク上にすべての近似を適用する。 我々のモデルは、解釈可能性や様々なモデルコンポーネントの効率的な実行といったユークリッドネットワークのパワーを利用するだけでなく、様々なベンチマークにおいてユークリッドと双曲の双方よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-09T05:33:02Z)
• Nested Hyperbolic Spaces for Dimensionality Reduction and Hyperbolic NN Design [8.250374560598493]
  ハイパーボリックニューラルネットワークは、階層的なデータセットを効率的かつ効率的に表現できることから、近年人気がある。 これらのネットワークを開発する際の課題は、埋め込み空間、すなわち双曲空間の非線形性にある。 本稿では, 射影(埋め込み)の概念と, 内在的な凝集, 双曲空間内の非線形性を併用した, 完全双曲型ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-03T03:20:27Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)
• Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
  我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。 本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。 特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
  論文  参考訳（メタデータ） (2021-04-06T01:44:15Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。