論文の概要: A Generalization of Transformer Networks to Graphs
- arxiv url: http://arxiv.org/abs/2012.09699v2
- Date: Sun, 24 Jan 2021 09:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 07:20:03.384465
- Title: A Generalization of Transformer Networks to Graphs
- Title（参考訳）: グラフへのトランスフォーマーネットワークの一般化
- Authors: Vijay Prakash Dwivedi, Xavier Bresson
- Abstract要約: 標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
- 参考スコア（独自算出の注目度）: 5.736353542430439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a generalization of transformer neural network architecture for
arbitrary graphs. The original transformer was designed for Natural Language
Processing (NLP), which operates on fully connected graphs representing all
connections between the words in a sequence. Such architecture does not
leverage the graph connectivity inductive bias, and can perform poorly when the
graph topology is important and has not been encoded into the node features. We
introduce a graph transformer with four new properties compared to the standard
model. First, the attention mechanism is a function of the neighborhood
connectivity for each node in the graph. Second, the positional encoding is
represented by the Laplacian eigenvectors, which naturally generalize the
sinusoidal positional encodings often used in NLP. Third, the layer
normalization is replaced by a batch normalization layer, which provides faster
training and better generalization performance. Finally, the architecture is
extended to edge feature representation, which can be critical to tasks s.a.
chemistry (bond type) or link prediction (entity relationship in knowledge
graphs). Numerical experiments on a graph benchmark demonstrate the performance
of the proposed graph transformer architecture. This work closes the gap
between the original transformer, which was designed for the limited case of
line graphs, and graph neural networks, that can work with arbitrary graphs. As
our architecture is simple and generic, we believe it can be used as a black
box for future applications that wish to consider transformer and graphs.
- Abstract（参考訳）: 任意のグラフに対するトランスフォーマーニューラルネットワークアーキテクチャの一般化を提案する。
元々のトランスフォーマーは自然言語処理(NLP)のために設計され、シーケンス内の単語間のすべての接続を表す完全に連結されたグラフで動作する。
このようなアーキテクチャはグラフ接続帰納バイアスを生かせず、グラフトポロジが重要であり、ノード機能にエンコードされていない場合、パフォーマンスが良くない。
標準モデルと比較して4つの新しい特性を持つグラフ変換器を導入する。
まず、注意機構は、グラフの各ノードの近傍接続の関数である。
第二に、位置エンコーディングはラプラシア固有ベクターによって表現され、NLPでよく使われる正弦波位置エンコーディングを自然に一般化する。
第三に、レイヤー正規化はバッチ正規化層に置き換えられ、より高速なトレーニングとより優れた一般化性能を提供する。
最後に、アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
グラフベンチマークにおける数値実験により,提案するグラフトランスフォーマーの性能を示す。
この研究は、ライングラフの限られたケース用に設計されたオリジナルのトランスフォーマーと、任意のグラフで動作可能なグラフニューラルネットワークとのギャップを埋めるものだ。
私たちのアーキテクチャはシンプルで汎用的であるため、トランスフォーマーとグラフを考慮に入れたい将来のアプリケーションのためのブラックボックスとして使用できると信じています。
関連論文リスト
- What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。
本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
論文 参考訳（メタデータ） (2024-06-04T05:30:16Z) - Graph as Point Set [31.448841287258116]
本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。
これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。
提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
論文 参考訳（メタデータ） (2024-05-05T02:29:41Z) - Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文 参考訳（メタデータ） (2024-01-31T12:33:31Z) - Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-15T14:36:38Z) - Enhancing Graph Transformers with Hierarchical Distance Structural Encoding [9.070055955084364]
本稿では,グラフ内のノード距離をモデル化するための階層的距離構造(HDSE)手法を提案する。
本稿では,既存のグラフ変換器の注意機構にHDSEをシームレスに統合する新しいフレームワークを提案する。
我々は,HDSEを用いたグラフトランスフォーマーがグラフ分類,7つのグラフレベルのデータセットの回帰,11の大規模グラフのノード分類において優れていることを示す。
論文 参考訳（メタデータ） (2023-08-22T02:22:34Z) - Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
論文 参考訳（メタデータ） (2023-03-14T20:35:45Z) - Transformers over Directed Acyclic Graphs [6.263470141349622]
有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。
グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
論文 参考訳（メタデータ） (2022-10-24T12:04:52Z) - Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。
このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。
提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文 参考訳（メタデータ） (2022-07-06T08:13:06Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳（メタデータ） (2021-10-15T05:59:15Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳（メタデータ） (2021-06-09T17:18:52Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳（メタデータ） (2021-06-07T18:11:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。