論文の概要: Structure-Aware Transformer for Graph Representation Learning
- arxiv url: http://arxiv.org/abs/2202.03036v1
- Date: Mon, 7 Feb 2022 09:53:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 14:34:47.502194
- Title: Structure-Aware Transformer for Graph Representation Learning
- Title（参考訳）: グラフ表現学習のための構造認識トランス
- Authors: Dexiong Chen and Leslie O'Bray and Karsten Borgwardt
- Abstract要約: 本研究では,トランスフォーマーによって生成されるノード表現と位置符号化が必ずしも類似点を捉えるとは限らないことを示す。
本稿では,新しい自己認識機構上に構築された,単純で柔軟なグラフ変換器のクラスであるStructure-Aware Transformerを提案する。
我々のフレームワークは,既存のGNNを利用してサブグラフ表現を抽出し,ベースとなるGNNモデルに対する性能を体系的に向上することを示す。
- 参考スコア（独自算出の注目度）: 7.4124458942877105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Transformer architecture has gained growing attention in graph
representation learning recently, as it naturally overcomes several limitations
of graph neural networks (GNNs) by avoiding their strict structural inductive
biases and instead only encoding the graph structure via positional encoding.
Here, we show that the node representations generated by the Transformer with
positional encoding do not necessarily capture structural similarity between
them. To address this issue, we propose the Structure-Aware Transformer, a
class of simple and flexible graph transformers built upon a new self-attention
mechanism. This new self-attention incorporates structural information into the
original self-attention by extracting a subgraph representation rooted at each
node before computing the attention. We propose several methods for
automatically generating the subgraph representation and show theoretically
that the resulting representations are at least as expressive as the subgraph
representations. Empirically, our method achieves state-of-the-art performance
on five graph prediction benchmarks. Our structure-aware framework can leverage
any existing GNN to extract the subgraph representation, and we show that it
systematically improves performance relative to the base GNN model,
successfully combining the advantages of GNNs and transformers.
- Abstract（参考訳）: トランスフォーマーアーキテクチャは、厳密な構造的帰納バイアスを避け、代わりに位置符号化を通じてグラフ構造を符号化することで、グラフニューラルネットワーク(GNN)のいくつかの制限を自然に克服するため、近年、グラフ表現学習において注目を集めている。
ここでは,トランスフォーマーによって生成された位置符号化によるノード表現が,必ずしもそれらの構造的類似性を捉えるとは限らないことを示す。
この問題に対処するために,新しい自己認識機構上に構築された単純で柔軟なグラフ変換器のクラスであるStructure-Aware Transformerを提案する。
この新しいセルフアテンションは、注意を計算する前に各ノードに根ざしたサブグラフ表現を抽出することにより、元の自己アテンションに構造情報を組み込む。
本稿では,サブグラフ表現を自動的に生成する方法をいくつか提案し,結果表現が少なくともサブグラフ表現と同じくらい表現的であることを理論的に示す。
本手法は,5つのグラフ予測ベンチマークにおいて最先端のパフォーマンスを実現する。
我々の構造認識フレームワークは,既存のGNNを利用してサブグラフ表現を抽出し,GNNとトランスフォーマーの利点をうまく組み合わせることで,基本GNNモデルに対する性能を体系的に向上することを示す。
関連論文リスト
- Homomorphism Counts as Structural Encodings for Graph Learning [7.691872607259055]
Graph Transformerは、よく知られたTransformerアーキテクチャをグラフドメインに拡張する、人気のあるニューラルネットワークである。
グラフ準同型をカウントした柔軟で強力な構造的符号化フレームワークとして、$textitmotif Structure encoding$ (MoSE)を提案する。
論文 参考訳（メタデータ） (2024-10-24T12:09:01Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Graph as Point Set [31.448841287258116]
本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。
これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。
提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
論文 参考訳（メタデータ） (2024-05-05T02:29:41Z) - Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文 参考訳（メタデータ） (2024-01-31T12:33:31Z) - Discrete Graph Auto-Encoder [52.50288418639075]
離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。
まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。
2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
論文 参考訳（メタデータ） (2023-06-13T12:40:39Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳（メタデータ） (2022-06-29T00:23:25Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳（メタデータ） (2021-10-15T05:59:15Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T17:57:53Z) - GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。
我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
論文 参考訳（メタデータ） (2021-06-10T11:36:22Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳（メタデータ） (2021-06-09T17:18:52Z) - Building powerful and equivariant graph neural networks with structural
message-passing [74.93169425144755]
本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。
まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。
次に,メッセージのパラメトリゼーション手法を提案する。
論文 参考訳（メタデータ） (2020-06-26T17:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。