論文の概要: A Generalization of Transformer Networks to Graphs
- arxiv url: http://arxiv.org/abs/2012.09699v2
- Date: Sun, 24 Jan 2021 09:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 07:20:03.384465
- Title: A Generalization of Transformer Networks to Graphs
- Title(参考訳): グラフへのトランスフォーマーネットワークの一般化
- Authors: Vijay Prakash Dwivedi, Xavier Bresson
- Abstract要約: 標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
- 参考スコア(独自算出の注目度): 5.736353542430439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a generalization of transformer neural network architecture for
arbitrary graphs. The original transformer was designed for Natural Language
Processing (NLP), which operates on fully connected graphs representing all
connections between the words in a sequence. Such architecture does not
leverage the graph connectivity inductive bias, and can perform poorly when the
graph topology is important and has not been encoded into the node features. We
introduce a graph transformer with four new properties compared to the standard
model. First, the attention mechanism is a function of the neighborhood
connectivity for each node in the graph. Second, the positional encoding is
represented by the Laplacian eigenvectors, which naturally generalize the
sinusoidal positional encodings often used in NLP. Third, the layer
normalization is replaced by a batch normalization layer, which provides faster
training and better generalization performance. Finally, the architecture is
extended to edge feature representation, which can be critical to tasks s.a.
chemistry (bond type) or link prediction (entity relationship in knowledge
graphs). Numerical experiments on a graph benchmark demonstrate the performance
of the proposed graph transformer architecture. This work closes the gap
between the original transformer, which was designed for the limited case of
line graphs, and graph neural networks, that can work with arbitrary graphs. As
our architecture is simple and generic, we believe it can be used as a black
box for future applications that wish to consider transformer and graphs.
- Abstract(参考訳): 任意のグラフに対するトランスフォーマーニューラルネットワークアーキテクチャの一般化を提案する。
元々のトランスフォーマーは自然言語処理(NLP)のために設計され、シーケンス内の単語間のすべての接続を表す完全に連結されたグラフで動作する。
このようなアーキテクチャはグラフ接続帰納バイアスを生かせず、グラフトポロジが重要であり、ノード機能にエンコードされていない場合、パフォーマンスが良くない。
標準モデルと比較して4つの新しい特性を持つグラフ変換器を導入する。
まず、注意機構は、グラフの各ノードの近傍接続の関数である。
第二に、位置エンコーディングはラプラシア固有ベクターによって表現され、NLPでよく使われる正弦波位置エンコーディングを自然に一般化する。
第三に、レイヤー正規化はバッチ正規化層に置き換えられ、より高速なトレーニングとより優れた一般化性能を提供する。
最後に、アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
グラフベンチマークにおける数値実験により,提案するグラフトランスフォーマーの性能を示す。
この研究は、ライングラフの限られたケース用に設計されたオリジナルのトランスフォーマーと、任意のグラフで動作可能なグラフニューラルネットワークとのギャップを埋めるものだ。
私たちのアーキテクチャはシンプルで汎用的であるため、トランスフォーマーとグラフを考慮に入れたい将来のアプリケーションのためのブラックボックスとして使用できると信じています。
関連論文リスト
- Topology-Informed Graph Transformer [7.857955053895979]
グラフアイソモーフィズムの検出における識別力とグラフ変換器全体の性能を両立させる新しい変換器である「トポロジーインフォーマグラフ変換器(TIGT)」について検討した。
TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いた位相的位置埋め込み層はグラフの巡回部分グラフに基づいて一意なグラフ表現を保証する。
TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
論文 参考訳(メタデータ) (2024-02-03T03:17:44Z) - Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T14:36:38Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - Enhancing Graph Transformers with Hierarchical Distance Structural
Encoding [0.7770029179741429]
本稿では,グラフ内のノード距離をモデル化するための階層的距離構造(HDSE)手法を提案する。
本稿では,既存のグラフ変換器の注意機構にHDSEをシームレスに統合する新しいフレームワークを提案する。
我々は,HDSEを用いたグラフトランスフォーマーがグラフ分類,7つのグラフレベルのデータセットの回帰,12の大規模グラフのノード分類において優れていることを示す。
論文 参考訳(メタデータ) (2023-08-22T02:22:34Z) - UniG-Encoder: A Universal Feature Encoder for Graph and Hypergraph Node
Classification [6.977634174845066]
グラフおよびハイパーグラフ表現学習のための普遍的特徴エンコーダ(UniG-Encoder)が設計されている。
アーキテクチャは、連結ノードのトポロジ的関係をエッジやハイパーエッジに前方変換することから始まる。
符号化されたノードの埋め込みは、投影行列の変換によって記述された逆変換から導かれる。
論文 参考訳(メタデータ) (2023-08-03T09:32:50Z) - Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
論文 参考訳(メタデータ) (2023-03-14T20:35:45Z) - Transformers over Directed Acyclic Graphs [6.263470141349622]
有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。
グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
論文 参考訳(メタデータ) (2022-10-24T12:04:52Z) - Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。
このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。
提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文 参考訳(メタデータ) (2022-07-06T08:13:06Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳(メタデータ) (2021-10-15T05:59:15Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳(メタデータ) (2021-06-07T18:11:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。