論文の概要: Pure Transformers are Powerful Graph Learners

• arxiv url: http://arxiv.org/abs/2207.02505v1
• Date: Wed, 6 Jul 2022 08:13:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 22:43:52.061023
• Title: Pure Transformers are Powerful Graph Learners
• Title（参考訳）: 純粋なトランスフォーマーは強力なグラフ学習者です
• Authors: Jinwoo Kim, Tien Dat Nguyen, Seonwoo Min, Sungjun Cho, Moontae Lee, Honglak Lee, Seunghoon Hong
• Abstract要約: グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
• 参考スコア（独自算出の注目度）: 51.36884247453605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that standard Transformers without graph-specific modifications can lead to promising results in graph learning both in theory and practice. Given a graph, we simply treat all nodes and edges as independent tokens, augment them with token embeddings, and feed them to a Transformer. With an appropriate choice of token embeddings, we prove that this approach is theoretically at least as expressive as an invariant graph network (2-IGN) composed of equivariant linear layers, which is already more expressive than all message-passing Graph Neural Networks (GNN). When trained on a large-scale graph dataset (PCQM4Mv2), our method coined Tokenized Graph Transformer (TokenGT) achieves significantly better results compared to GNN baselines and competitive results compared to Transformer variants with sophisticated graph-specific inductive bias. Our implementation is available at https://github.com/jw9730/tokengt.
• Abstract（参考訳）: グラフ固有の修正を伴わない標準トランスフォーマーは,理論と実践の両方において,グラフ学習に有望な結果をもたらす可能性がある。 グラフが与えられたら、すべてのノードとエッジを独立トークンとして扱い、トークンの埋め込みを拡大し、Transformerにフィードします。 トークン埋め込みの適切な選択により、このアプローチは理論的に少なくとも同変線形層からなる不変グラフネットワーク(2-ign)のように表現可能であり、これは既に全てのメッセージパッシンググラフニューラルネットワーク(gnn)よりも表現的であることが証明される。 大規模グラフデータセット (PCQM4Mv2) をトレーニングすると,Tokenized Graph Transformer (TokenGT) を作成した手法は,GNNのベースラインや競合結果と比較して,高度なグラフ固有帰納バイアスを持つTransformer 変種と比較して有意に優れた結果が得られる。 実装はhttps://github.com/jw9730/tokengtで利用可能です。

関連論文リスト

• Learning Graph Quantized Tokenizers for Transformers [28.79505338383552]
  グラフトランスフォーマー(GT)は、さまざまなグラフ学習タスクにおいて、グラフニューラルネットワーク(GNN)よりも優れた、ディープラーニングのリードモデルとして登場した。 GQT (textbfGraph textbfQuantized textbfTokenizer) を導入した。 GQTとトークン変調を組み合わせることで、Transformerエンコーダは18のベンチマークのうち16の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-17T17:38:24Z)
• SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention [1.4126245676224705]
  Graph Transformerは、Graph Neural Networks(GNN)固有の制限を軽減するための、有望なソリューションとして登場した。 本稿では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。 SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2024-03-21T03:11:53Z)
• Graph Inductive Biases in Transformers without Message Passing [47.238185813842996]
  新しいグラフ誘導バイアス変換器(GRIT)は、メッセージパッシングを使わずにグラフ誘導バイアスを組み込む。 GRITは、さまざまなグラフデータセットにまたがる最先端の実証的なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-27T22:26:27Z)
• Graph Propagation Transformer for Graph Representation Learning [36.01189696668657]
  グラフ伝搬注意(GPA)と呼ばれる新しい注意機構を提案する。 ノード・ツー・ノード、ノード・ツー・エッジ、エッジ・ツー・ノードという3つの方法で、ノードとエッジ間で明示的に情報を渡す。 提案手法は,多くの最先端のトランスフォーマーベースグラフモデルよりも優れた性能を有することを示す。
  論文  参考訳（メタデータ） (2023-05-19T04:42:58Z)
• AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
  Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
  論文  参考訳（メタデータ） (2023-05-12T14:35:42Z)
• PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations [18.203910156450085]
  我々は、新しいTransformerベースのグラフニューラルネットワーク、Patch Graph Transformer(PatchGT)を提案する。 グラフ表現を学習する従来のトランスフォーマーベースモデルとは異なり、PatchGTはノードから直接ではなく、トレーニング不可能なグラフパッチから学習する。 PatchGTは1-WL型GNNよりも高い性能を達成し,ベンチマークデータセット上でPatchGTが競合性能を達成することを示す実証的研究を行った。
  論文  参考訳（メタデータ） (2022-11-26T01:17:23Z)
• Representation Power of Graph Neural Networks: Improved Expressivity via Algebraic Analysis [124.97061497512804]
  標準グラフニューラルネットワーク (GNN) はWeisfeiler-Lehman (WL) アルゴリズムよりも差別的な表現を生成する。 また、白い入力を持つ単純な畳み込みアーキテクチャは、グラフの閉経路をカウントする同変の特徴を生じさせることを示した。
  論文  参考訳（メタデータ） (2022-05-19T18:40:25Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。