論文の概要: Hypformer: Exploring Efficient Hyperbolic Transformer Fully in Hyperbolic Space

• arxiv url: http://arxiv.org/abs/2407.01290v1
• Date: Mon, 1 Jul 2024 13:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 21:20:18.448453
• Title: Hypformer: Exploring Efficient Hyperbolic Transformer Fully in Hyperbolic Space
• Title（参考訳）: Hypformer: 双曲空間における効率の良い双曲変換器の探索
• Authors: Menglin Yang, Harshit Verma, Delvin Ce Zhang, Jiahong Liu, Irwin King, Rex Ying,
• Abstract要約: 双曲幾何学のローレンツモデルに基づく新しい双曲変換器Hypformerを導入する。 我々は,双曲空間における線形自己保持機構を開発し,双曲変換器が数十億のグラフデータと時系列入力を初めて処理できるようにする。
• 参考スコア（独自算出の注目度）: 47.4014545166959
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hyperbolic geometry have shown significant potential in modeling complex structured data, particularly those with underlying tree-like and hierarchical structures. Despite the impressive performance of various hyperbolic neural networks across numerous domains, research on adapting the Transformer to hyperbolic space remains limited. Previous attempts have mainly focused on modifying self-attention modules in the Transformer. However, these efforts have fallen short of developing a complete hyperbolic Transformer. This stems primarily from: (i) the absence of well-defined modules in hyperbolic space, including linear transformation layers, LayerNorm layers, activation functions, dropout operations, etc. (ii) the quadratic time complexity of the existing hyperbolic self-attention module w.r.t the number of input tokens, which hinders its scalability. To address these challenges, we propose, Hypformer, a novel hyperbolic Transformer based on the Lorentz model of hyperbolic geometry. In Hypformer, we introduce two foundational blocks that define the essential modules of the Transformer in hyperbolic space. Furthermore, we develop a linear self-attention mechanism in hyperbolic space, enabling hyperbolic Transformer to process billion-scale graph data and long-sequence inputs for the first time. Our experimental results confirm the effectiveness and efficiency of Hypformer across various datasets, demonstrating its potential as an effective and scalable solution for large-scale data representation and large models.
• Abstract（参考訳）: 双曲幾何学は複雑な構造化データ、特に木のような下層構造と階層構造を持つデータをモデル化する上で大きな可能性を示している。 多くの領域にわたる様々な双曲型ニューラルネットワークの性能にもかかわらず、トランスフォーマーを双曲型空間に適応させる研究は依然として限られている。 以前の試みは主にTransformerの自己アテンションモジュールの変更に重点を置いていた。 しかし、これらの取り組みは完全な双曲トランスの開発には至っていない。 主な由来は以下の通り。 i) 双曲空間において、線形変換層、LayerNorm層、アクティベーション関数、ドロップアウト操作など、明確に定義されたモジュールが存在しないこと。 (ii) 既存の双曲自己保持モジュールの2次時間複雑性は入力トークンの数に比例し、その拡張性を妨げている。 これらの課題に対処するために、双曲幾何学のローレンツモデルに基づく新しい双曲変換器であるHypformerを提案する。 Hypformerでは、双曲空間におけるTransformerの本質的加群を定義する2つの基本ブロックを導入する。 さらに、双曲空間における線形自己保持機構を開発し、双曲変換器が10億のグラフデータと時系列入力を初めて処理できるようにする。 実験により,Hypformerの有効性と有効性を確認し,大規模データ表現や大規模モデルにおいて,効果的かつスケーラブルなソリューションとしての可能性を示した。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Hyper-Transformer for Amodal Completion [82.4118011026855]
  アモーダルオブジェクト補完は、可視セグメントと背景情報に基づいてオブジェクトの見えない部分を予測する複雑なタスクである。 我々はHyper-Transformer Amodal Network(H-TAN)と呼ばれる新しいフレームワークを紹介する。 このフレームワークは、動的畳み込みヘッドを備えたハイパートランスを用いて、形状の事前を直接学習し、アモーダルマスクを正確に予測する。
  論文  参考訳（メタデータ） (2024-05-30T11:11:54Z)
• Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory [11.3128832831327]
  Transformerモデルのサイズが大きくなると、パフォーマンスが向上するとは限らない。 モデルがトレーニングサンプルを記憶するにつれて、一般化能力が向上する。 本稿では,変圧器に基づく言語モデルの記憶過程と性能動態に光を当てる理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T15:48:36Z)
• Accelerating hyperbolic t-SNE [7.411478341945197]
  本稿では,極性クアッドツリー上に構築された双曲埋め込みの最初の加速構造について紹介する。 同様の品質の埋め込みを、はるかに少ない時間で計算できることを示します。
  論文  参考訳（メタデータ） (2024-01-23T12:59:40Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Complex Hyperbolic Knowledge Graph Embeddings with Fast Fourier Transform [29.205221688430733]
  知識グラフ(KG)埋め込みのための幾何学的空間の選択は、KG完了タスクの性能に大きな影響を与える。 複雑な双曲型幾何学の最近の研究は、様々な階層構造を捉えるための双曲型埋め込みをさらに改善した。 本稿では,マルチリレーショナルKG埋め込みにおける複素双曲幾何学の表現能力を活用することを目的とする。
  論文  参考訳（メタデータ） (2022-11-07T15:46:00Z)
• THG: Transformer with Hyperbolic Geometry [8.895324519034057]
  X-former"モデルは、自己注意の2次時間とメモリの複雑さにのみ変更を加える。 ユークリッド空間と双曲空間の両方の利点を生かした,双曲幾何モデル(THG)を提案する。
  論文  参考訳（メタデータ） (2021-06-01T14:09:33Z)
• Fully Hyperbolic Neural Networks [63.22521652077353]
  ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。 提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
  論文  参考訳（メタデータ） (2021-05-31T03:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。