論文の概要: Lorentzian Residual Neural Networks

• arxiv url: http://arxiv.org/abs/2412.14695v2
• Date: Sun, 12 Jan 2025 05:47:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:23:15.881089
• Title: Lorentzian Residual Neural Networks
• Title（参考訳）: ローレンツ残差ニューラルネットワーク
• Authors: Neil He, Menglin Yang, Rex Ying,
• Abstract要約: 双曲幾何学のローレンツモデルにおいて、重み付けされたローレンツ中心体に基づく新しいローレンツ残留ニューラルネットワークであるLResNetを導入する。 本手法は,階層的表現能力を保ちながら,双曲型ニューラルネットワークにおける残差接続の効率的な統合を可能にする。 ハイパーボリックな埋め込み空間において、より表現力のあるニューラルネットワークを構築するためのLResNetの可能性を強調した。
• 参考スコア（独自算出の注目度）: 15.257990326035694
• License:
• Abstract: Hyperbolic neural networks have emerged as a powerful tool for modeling hierarchical data structures prevalent in real-world datasets. Notably, residual connections, which facilitate the direct flow of information across layers, have been instrumental in the success of deep neural networks. However, current methods for constructing hyperbolic residual networks suffer from limitations such as increased model complexity, numerical instability, and errors due to multiple mappings to and from the tangent space. To address these limitations, we introduce LResNet, a novel Lorentzian residual neural network based on the weighted Lorentzian centroid in the Lorentz model of hyperbolic geometry. Our method enables the efficient integration of residual connections in Lorentz hyperbolic neural networks while preserving their hierarchical representation capabilities. We demonstrate that our method can theoretically derive previous methods while offering improved stability, efficiency, and effectiveness. Extensive experiments on both graph and vision tasks showcase the superior performance and robustness of our method compared to state-of-the-art Euclidean and hyperbolic alternatives. Our findings highlight the potential of LResNet for building more expressive neural networks in hyperbolic embedding space as a generally applicable method to multiple architectures, including CNNs, GNNs, and graph Transformers.
• Abstract（参考訳）: ハイパーボリックニューラルネットワークは、現実世界のデータセットで広く使われている階層型データ構造をモデリングするための強力なツールとして登場した。 特に、層にまたがる情報の直接フローを促進する残差接続は、ディープニューラルネットワークの成功に役立っている。 しかし、現在の双曲的残差ネットワーク構築法は、モデル複雑性の増大、数値不安定性、およびタンジェント空間への複数マッピングによる誤差などの制限に悩まされている。 これらの制約に対処するため、LResNetは、双曲幾何学のローレンツモデルにおいて、重み付けされたローレンツ中心波に基づく新しいローレンツ残留ニューラルネットワークである。 本手法は,階層的表現能力を保ちながら,ローレンツ双曲型ニューラルネットワークにおける残差接続の効率的な統合を可能にする。 提案手法は, 安定性, 効率, 有効性を向上しつつ, 従来の手法を理論的に導出できることを実証する。 グラフおよび視覚タスクの広範な実験は、最先端のユークリッドおよび双曲的代替法と比較して、我々の手法の優れた性能と堅牢性を示している。 我々の発見は、CNN、GNN、グラフ変換器など、複数のアーキテクチャに適用可能な一般的な方法として、双曲埋め込み空間においてより表現力のあるニューラルネットワークを構築するためのLResNetの可能性を強調した。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Variational Tensor Neural Networks for Deep Learning [0.0]
  深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。 これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。 我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
  論文  参考訳（メタデータ） (2022-11-26T20:24:36Z)
• Quiver neural networks [5.076419064097734]
  ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
  論文  参考訳（メタデータ） (2022-07-26T09:42:45Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
  本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。 これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
  論文  参考訳（メタデータ） (2021-07-30T03:37:00Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。