論文の概要: Graph Inductive Biases in Transformers without Message Passing

• arxiv url: http://arxiv.org/abs/2305.17589v1
• Date: Sat, 27 May 2023 22:26:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 18:08:19.554656
• Title: Graph Inductive Biases in Transformers without Message Passing
• Title（参考訳）: メッセージパッシングのないトランスフォーマにおけるグラフインダクティブバイアス
• Authors: Liheng Ma, Chen Lin, Derek Lim, Adriana Romero-Soriano, Puneet K. Dokania, Mark Coates, Philip Torr, Ser-Nam Lim
• Abstract要約: 新しいグラフ誘導バイアス変換器(GRIT)は、メッセージパッシングを使わずにグラフ誘導バイアスを組み込む。 GRITは、さまざまなグラフデータセットにまたがる最先端の実証的なパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 47.238185813842996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers for graph data are increasingly widely studied and successful in numerous learning tasks. Graph inductive biases are crucial for Graph Transformers, and previous works incorporate them using message-passing modules and/or positional encodings. However, Graph Transformers that use message-passing inherit known issues of message-passing, and differ significantly from Transformers used in other domains, thus making transfer of research advances more difficult. On the other hand, Graph Transformers without message-passing often perform poorly on smaller datasets, where inductive biases are more crucial. To bridge this gap, we propose the Graph Inductive bias Transformer (GRIT) -- a new Graph Transformer that incorporates graph inductive biases without using message passing. GRIT is based on several architectural changes that are each theoretically and empirically justified, including: learned relative positional encodings initialized with random walk probabilities, a flexible attention mechanism that updates node and node-pair representations, and injection of degree information in each layer. We prove that GRIT is expressive -- it can express shortest path distances and various graph propagation matrices. GRIT achieves state-of-the-art empirical performance across a variety of graph datasets, thus showing the power that Graph Transformers without message-passing can deliver.
• Abstract（参考訳）: グラフデータのトランスフォーマーはますます広く研究され、多くの学習タスクで成功している。 グラフインダクティブバイアスはグラフトランスフォーマーに不可欠であり、以前の作品ではメッセージパッシングモジュールや位置エンコーディングを使用してそれらを取り込んでいる。 しかし、メッセージパッシングを使用するグラフトランスフォーマーは、メッセージパッシングの既知の問題を継承し、他のドメインで使用されるトランスフォーマーと大きく異なるため、研究の進歩の伝達が困難になる。 一方、メッセージパッシングのないグラフトランスフォーマーは、インダクティブバイアスがより重要である小さなデータセットでは、パフォーマンスが悪いことが多い。 このギャップを埋めるため、メッセージパッシングを使わずにグラフ帰納バイアスを組み込む新しいグラフ変換器GRIT(Graph Inductive bias Transformer)を提案する。 GRITは、ランダムウォーク確率で初期化された相対的な位置エンコーディングの学習、ノードとノードペアの表現を更新するフレキシブルアテンション機構、各レイヤにおける次数情報の注入など、理論的および経験的に正当化されたいくつかのアーキテクチャ上の変更に基づいている。 我々はGRITが表現的であることを証明し、最短経路距離と様々なグラフ伝搬行列を表現できる。 gritはさまざまなグラフデータセットで最先端の経験的パフォーマンスを実現し、メッセージパッシングなしでグラフトランスフォーマーが提供できる能力を示している。

関連論文リスト

• Graph Transformers Dream of Electric Flow [72.06286909236827]
  グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。 そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
  論文  参考訳（メタデータ） (2024-10-22T05:11:45Z)
• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Graph Transformers: A Survey [15.68583521879617]
  グラフトランスフォーマーは機械学習の最近の進歩であり、グラフ構造化データのためのニューラルネットワークモデルの新たなクラスを提供する。 この調査は、グラフトランスフォーマー研究における最近の進歩と課題について、詳細なレビューを提供する。
  論文  参考訳（メタデータ） (2024-07-13T05:15:24Z)
• Transformers over Directed Acyclic Graphs [6.263470141349622]
  有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。 グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:04:52Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• A Generalization of Transformer Networks to Graphs [5.736353542430439]
  標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。 アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
  論文  参考訳（メタデータ） (2020-12-17T16:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。