論文の概要: Do Transformers Really Perform Bad for Graph Representation?
- arxiv url: http://arxiv.org/abs/2106.05234v1
- Date: Wed, 9 Jun 2021 17:18:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 17:49:56.431177
- Title: Do Transformers Really Perform Bad for Graph Representation?
- Title（参考訳）: トランスフォーマーはグラフ表現で本当に悪いのか?
- Authors: Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di
He, Yanming Shen and Tie-Yan Liu
- Abstract要約: 標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
- 参考スコア（独自算出の注目度）: 62.68420868623308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Transformer architecture has become a dominant choice in many domains,
such as natural language processing and computer vision. Yet, it has not
achieved competitive performance on popular leaderboards of graph-level
prediction compared to mainstream GNN variants. Therefore, it remains a mystery
how Transformers could perform well for graph representation learning. In this
paper, we solve this mystery by presenting Graphormer, which is built upon the
standard Transformer architecture, and could attain excellent results on a
broad range of graph representation learning tasks, especially on the recent
OGB Large-Scale Challenge. Our key insight to utilizing Transformer in the
graph is the necessity of effectively encoding the structural information of a
graph into the model. To this end, we propose several simple yet effective
structural encoding methods to help Graphormer better model graph-structured
data. Besides, we mathematically characterize the expressive power of
Graphormer and exhibit that with our ways of encoding the structural
information of graphs, many popular GNN variants could be covered as the
special cases of Graphormer.
- Abstract（参考訳）: トランスフォーマーアーキテクチャは、自然言語処理やコンピュータビジョンなど、多くの領域で支配的な選択となっている。
しかし、グラフレベルの予測で人気のあるリーダーボードでは、主流のgnnに比べて競争力は得られていない。
したがって、トランスフォーマーがグラフ表現学習のためにどのように機能するかは謎のままである。
本稿では,標準トランスフォーマーアーキテクチャ上に構築されたgraphormerを提示することで,この謎を解決し,特に最近のogb大規模課題において,幅広いグラフ表現学習タスクにおいて優れた結果が得られることを示す。
グラフでトランスフォーマーを利用するための重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要性である。
そこで本稿では,グラフ構造化データのモデル化を支援するため,単純な構造符号化手法を提案する。
さらに,グラフマーの表現力を数学的に特徴付け,グラフの構造情報を符号化する方法によって,多くのGNN変種がグラフマーの特別な事例としてカバーできることを示す。
関連論文リスト
- Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information [0.8184895397419141]
グラフトランスフォーマーは、メッセージパッシンググラフニューラルネットワーク(MP-GNN)の強力な代替品として登場した。
本稿では,グラフスペクトル情報を直接符号化する新しい手法であるグラフスペクトルトークンを提案する。
既存のグラフ変換器であるGraphTransとSubFormerを拡張して,提案手法の有効性をベンチマークする。
論文 参考訳（メタデータ） (2024-04-08T15:24:20Z) - Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文 参考訳（メタデータ） (2024-01-31T12:33:31Z) - Transformers as Graph-to-Graph Models [13.630495199720423]
トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。
我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
論文 参考訳（メタデータ） (2023-10-27T07:21:37Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳（メタデータ） (2023-09-18T20:12:17Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳（メタデータ） (2023-06-19T08:03:25Z) - Diffusing Graph Attention [15.013509382069046]
任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。
GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。
8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
論文 参考訳（メタデータ） (2023-03-01T16:11:05Z) - Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。
ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。
本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2023-03-01T15:22:40Z) - Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。
このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。
提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文 参考訳（メタデータ） (2022-07-06T08:13:06Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳（メタデータ） (2022-02-17T06:02:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。