論文の概要: Curve Your Attention: Mixed-Curvature Transformers for Graph
Representation Learning
- arxiv url: http://arxiv.org/abs/2309.04082v1
- Date: Fri, 8 Sep 2023 02:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 16:14:40.187705
- Title: Curve Your Attention: Mixed-Curvature Transformers for Graph
Representation Learning
- Title(参考訳): 注意をカーブする:グラフ表現学習のための混合曲率変換器
- Authors: Sungjun Cho, Seunghyuk Cho, Sungwoo Park, Hankook Lee, Honglak Lee,
Moontae Lee
- Abstract要約: 本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。
また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
- 参考スコア(独自算出の注目度): 77.1421343649344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world graphs naturally exhibit hierarchical or cyclical structures that
are unfit for the typical Euclidean space. While there exist graph neural
networks that leverage hyperbolic or spherical spaces to learn representations
that embed such structures more accurately, these methods are confined under
the message-passing paradigm, making the models vulnerable against side-effects
such as oversmoothing and oversquashing. More recent work have proposed global
attention-based graph Transformers that can easily model long-range
interactions, but their extensions towards non-Euclidean geometry are yet
unexplored. To bridge this gap, we propose Fully Product-Stereographic
Transformer, a generalization of Transformers towards operating entirely on the
product of constant curvature spaces. When combined with tokenized graph
Transformers, our model can learn the curvature appropriate for the input graph
in an end-to-end fashion, without the need of additional tuning on different
curvature initializations. We also provide a kernelized approach to
non-Euclidean attention, which enables our model to run in time and memory cost
linear to the number of nodes and edges while respecting the underlying
geometry. Experiments on graph reconstruction and node classification
demonstrate the benefits of generalizing Transformers to the non-Euclidean
domain.
- Abstract(参考訳): 実世界のグラフは自然に典型的なユークリッド空間に不適な階層構造や巡回構造を示す。
双曲的あるいは球面的な空間を利用して、そのような構造をより正確に埋め込む表現を学ぶグラフニューラルネットワークが存在するが、これらの手法はメッセージパッシングパラダイムに制限されており、過剰なスムーシングやオーバースワッシングのような副作用に対して脆弱である。
近年の研究では、長距離相互作用を容易にモデル化できるグローバルな注意に基づくグラフトランスが提案されているが、非ユークリッド幾何学への拡張はまだ検討されていない。
このギャップを埋めるため,変圧器を一定曲率空間の積上で完全に動作させるための一般化であるFully Product-Stereographic Transformerを提案する。
トークン化グラフ変換器と組み合わせることで,異なる曲率初期化を付加することなく,入力グラフに適した曲率をエンドツーエンドで学習することができる。
また,非ユークリッド的注意へのカーネル化アプローチも提供し,基礎となる幾何学を尊重しつつ,ノード数やエッジ数に線形な時間とメモリコストを削減した。
グラフ再構成とノード分類の実験は、トランスフォーマーを非ユークリッド領域に一般化する利点を示している。
関連論文リスト
- Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T14:36:38Z) - How Curvature Enhance the Adaptation Power of Framelet GCNs [27.831929635701886]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力に実証されている。
本稿では,離散グラフリッチ曲率によるGNNの拡張手法を提案する。
曲率に基づくGNNモデルは、ホモフィリーグラフとヘテロフィリーグラフの両方において、最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-19T06:05:33Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。
ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。
本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-03-01T15:22:40Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2022-06-29T00:23:25Z) - Heterogeneous manifolds for curvature-aware graph embedding [6.3351090376024155]
グラフ埋め込みは、広範囲のGraph MLアプリケーションで使用されている。
そのような埋め込みの質は、空間の幾何学がグラフの幾何学と一致するかどうかに決定的に依存する。
論文 参考訳(メタデータ) (2022-02-02T18:18:35Z) - GeoMol: Torsional Geometric Generation of Molecular 3D Conformer
Ensembles [60.12186997181117]
分子グラフからの分子の3Dコンホメーラーアンサンブルの予測は、化学情報学と薬物発見の領域において重要な役割を担っている。
既存の生成モデルは、重要な分子幾何学的要素のモデリングの欠如を含むいくつかの欠点がある。
エンド・ツー・エンド、非自己回帰、SE(3)不変の機械学習手法であるGeoMolを提案し、3Dコンバータを生成する。
論文 参考訳(メタデータ) (2021-06-08T14:17:59Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳(メタデータ) (2021-06-07T18:11:11Z) - Self-Supervised Graph Representation Learning via Topology
Transformations [61.870882736758624]
本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。
実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-05-25T06:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。