論文の概要: Graph Inductive Biases in Transformers without Message Passing
- arxiv url: http://arxiv.org/abs/2305.17589v1
- Date: Sat, 27 May 2023 22:26:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 18:08:19.554656
- Title: Graph Inductive Biases in Transformers without Message Passing
- Title(参考訳): メッセージパッシングのないトランスフォーマにおけるグラフインダクティブバイアス
- Authors: Liheng Ma, Chen Lin, Derek Lim, Adriana Romero-Soriano, Puneet K.
Dokania, Mark Coates, Philip Torr, Ser-Nam Lim
- Abstract要約: 新しいグラフ誘導バイアス変換器(GRIT)は、メッセージパッシングを使わずにグラフ誘導バイアスを組み込む。
GRITは、さまざまなグラフデータセットにまたがる最先端の実証的なパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 47.238185813842996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers for graph data are increasingly widely studied and successful in
numerous learning tasks. Graph inductive biases are crucial for Graph
Transformers, and previous works incorporate them using message-passing modules
and/or positional encodings. However, Graph Transformers that use
message-passing inherit known issues of message-passing, and differ
significantly from Transformers used in other domains, thus making transfer of
research advances more difficult. On the other hand, Graph Transformers without
message-passing often perform poorly on smaller datasets, where inductive
biases are more crucial. To bridge this gap, we propose the Graph Inductive
bias Transformer (GRIT) -- a new Graph Transformer that incorporates graph
inductive biases without using message passing. GRIT is based on several
architectural changes that are each theoretically and empirically justified,
including: learned relative positional encodings initialized with random walk
probabilities, a flexible attention mechanism that updates node and node-pair
representations, and injection of degree information in each layer. We prove
that GRIT is expressive -- it can express shortest path distances and various
graph propagation matrices. GRIT achieves state-of-the-art empirical
performance across a variety of graph datasets, thus showing the power that
Graph Transformers without message-passing can deliver.
- Abstract(参考訳): グラフデータのトランスフォーマーはますます広く研究され、多くの学習タスクで成功している。
グラフインダクティブバイアスはグラフトランスフォーマーに不可欠であり、以前の作品ではメッセージパッシングモジュールや位置エンコーディングを使用してそれらを取り込んでいる。
しかし、メッセージパッシングを使用するグラフトランスフォーマーは、メッセージパッシングの既知の問題を継承し、他のドメインで使用されるトランスフォーマーと大きく異なるため、研究の進歩の伝達が困難になる。
一方、メッセージパッシングのないグラフトランスフォーマーは、インダクティブバイアスがより重要である小さなデータセットでは、パフォーマンスが悪いことが多い。
このギャップを埋めるため、メッセージパッシングを使わずにグラフ帰納バイアスを組み込む新しいグラフ変換器GRIT(Graph Inductive bias Transformer)を提案する。
GRITは、ランダムウォーク確率で初期化された相対的な位置エンコーディングの学習、ノードとノードペアの表現を更新するフレキシブルアテンション機構、各レイヤにおける次数情報の注入など、理論的および経験的に正当化されたいくつかのアーキテクチャ上の変更に基づいている。
我々はGRITが表現的であることを証明し、最短経路距離と様々なグラフ伝搬行列を表現できる。
gritはさまざまなグラフデータセットで最先端の経験的パフォーマンスを実現し、メッセージパッシングなしでグラフトランスフォーマーが提供できる能力を示している。
関連論文リスト
- Topology-Informed Graph Transformer [7.857955053895979]
グラフアイソモーフィズムの検出における識別力とグラフ変換器全体の性能を両立させる新しい変換器である「トポロジーインフォーマグラフ変換器(TIGT)」について検討した。
TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いた位相的位置埋め込み層はグラフの巡回部分グラフに基づいて一意なグラフ表現を保証する。
TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
論文 参考訳(メタデータ) (2024-02-03T03:17:44Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - Transformers over Directed Acyclic Graphs [6.263470141349622]
有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。
グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
論文 参考訳(メタデータ) (2022-10-24T12:04:52Z) - Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。
このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。
提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文 参考訳(メタデータ) (2022-07-06T08:13:06Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳(メタデータ) (2022-02-17T06:02:06Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文 参考訳(メタデータ) (2020-12-17T16:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。