論文の概要: Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2309.04082v1
• Date: Fri, 8 Sep 2023 02:44:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 16:14:40.187705
• Title: Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning
• Title（参考訳）: 注意をカーブする:グラフ表現学習のための混合曲率変換器
• Authors: Sungjun Cho, Seunghyuk Cho, Sungwoo Park, Hankook Lee, Honglak Lee, Moontae Lee
• Abstract要約: 本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
• 参考スコア（独自算出の注目度）: 77.1421343649344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world graphs naturally exhibit hierarchical or cyclical structures that are unfit for the typical Euclidean space. While there exist graph neural networks that leverage hyperbolic or spherical spaces to learn representations that embed such structures more accurately, these methods are confined under the message-passing paradigm, making the models vulnerable against side-effects such as oversmoothing and oversquashing. More recent work have proposed global attention-based graph Transformers that can easily model long-range interactions, but their extensions towards non-Euclidean geometry are yet unexplored. To bridge this gap, we propose Fully Product-Stereographic Transformer, a generalization of Transformers towards operating entirely on the product of constant curvature spaces. When combined with tokenized graph Transformers, our model can learn the curvature appropriate for the input graph in an end-to-end fashion, without the need of additional tuning on different curvature initializations. We also provide a kernelized approach to non-Euclidean attention, which enables our model to run in time and memory cost linear to the number of nodes and edges while respecting the underlying geometry. Experiments on graph reconstruction and node classification demonstrate the benefits of generalizing Transformers to the non-Euclidean domain.
• Abstract（参考訳）: 実世界のグラフは自然に典型的なユークリッド空間に不適な階層構造や巡回構造を示す。 双曲的あるいは球面的な空間を利用して、そのような構造をより正確に埋め込む表現を学ぶグラフニューラルネットワークが存在するが、これらの手法はメッセージパッシングパラダイムに制限されており、過剰なスムーシングやオーバースワッシングのような副作用に対して脆弱である。 近年の研究では、長距離相互作用を容易にモデル化できるグローバルな注意に基づくグラフトランスが提案されているが、非ユークリッド幾何学への拡張はまだ検討されていない。 このギャップを埋めるため,変圧器を一定曲率空間の積上で完全に動作させるための一般化であるFully Product-Stereographic Transformerを提案する。 トークン化グラフ変換器と組み合わせることで,異なる曲率初期化を付加することなく,入力グラフに適した曲率をエンドツーエンドで学習することができる。 また,非ユークリッド的注意へのカーネル化アプローチも提供し,基礎となる幾何学を尊重しつつ,ノード数やエッジ数に線形な時間とメモリコストを削減した。 グラフ再構成とノード分類の実験は、トランスフォーマーを非ユークリッド領域に一般化する利点を示している。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Attending to Topological Spaces: The Cellular Transformer [37.84207797241944]
  トポロジカルディープラーニングは、入力データにトポロジ的構造を活用することにより、ニューラルネットワークモデルの予測性能を高めることを目指している。 本稿では,グラフベースのトランスをセルコンプレックスに一般化する新しいアーキテクチャであるCellular Transformer(CT)を紹介する。 CTは最先端のパフォーマンスを実現するが、より複雑な拡張を必要としない。
  論文  参考訳（メタデータ） (2024-05-23T01:48:32Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。