論文の概要: Recipe for a General, Powerful, Scalable Graph Transformer
- arxiv url: http://arxiv.org/abs/2205.12454v1
- Date: Wed, 25 May 2022 02:56:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 15:09:32.581918
- Title: Recipe for a General, Powerful, Scalable Graph Transformer
- Title（参考訳）: 汎用でパワフルでスケーラブルなグラフ変換器の準備
- Authors: Ladislav Ramp\'a\v{s}ek, Mikhail Galkin, Vijay Prakash Dwivedi, Anh
Tuan Luu, Guy Wolf, Dominique Beaini
- Abstract要約: グラフ変換器(GT)はグラフ表現学習の分野で人気を集めている。
GTは、優れた位置的または構造的エンコーディングを構成するものに関する共通の基盤を欠いている。
私たちは、複数のタイプのエンコーディングをサポートするモジュラーフレームワークである$textitGraphGPS$を構築し、オープンソース化しています。
- 参考スコア（独自算出の注目度）: 19.024471708712326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a recipe on how to build a general, powerful, scalable (GPS) graph
Transformer with linear complexity and state-of-the-art results on a diverse
set of benchmarks. Graph Transformers (GTs) have gained popularity in the field
of graph representation learning with a variety of recent publications but they
lack a common foundation about what constitutes a good positional or structural
encoding, and what differentiates them. In this paper, we summarize the
different types of encodings with a clearer definition and categorize them as
being $\textit{local}$, $\textit{global}$ or $\textit{relative}$. Further, GTs
remain constrained to small graphs with few hundred nodes, and we propose the
first architecture with a complexity linear to the number of nodes and edges
$O(N+E)$ by decoupling the local real-edge aggregation from the fully-connected
Transformer. We argue that this decoupling does not negatively affect the
expressivity, with our architecture being a universal function approximator for
graphs. Our GPS recipe consists of choosing 3 main ingredients: (i)
positional/structural encoding, (ii) local message-passing mechanism, and (iii)
global attention mechanism. We build and open-source a modular framework
$\textit{GraphGPS}$ that supports multiple types of encodings and that provides
efficiency and scalability both in small and large graphs. We test our
architecture on 11 benchmarks and show very competitive results on all of them,
show-casing the empirical benefits gained by the modularity and the combination
of different strategies.
- Abstract（参考訳）: そこで本稿では,線形複雑化を伴う汎用・強力・スケーラブルな(GPS)グラフトランスフォーマーの構築方法と,様々なベンチマークの最先端結果を提案する。
グラフトランスフォーマー(GT)は、グラフ表現学習の分野において、近年様々な出版物で人気を集めているが、優れた位置や構造的エンコーディングを構成するもの、それらと区別するものに関する共通の基盤が欠けている。
本稿では、より明確な定義で異なるタイプのエンコーディングを要約し、それらを $\textit{local}$, $\textit{global}$, $\textit{relative}$と分類する。
さらに、gtsは数百のノードを持つ小さなグラフに制限されており、全連結トランスフォーマーから局所的な実エッジアグリゲーションを分離することで、ノード数とエッジ数に線形な複雑性を持つ最初のアーキテクチャを提案する。
この疎結合は表現性に悪影響を与えず、我々のアーキテクチャはグラフの普遍関数近似器である。
われわれのGPSレシピは3つの主成分から成り立っている。
(i)位置/構造符号化
(ii)ローカルメッセージパッシング機構、及び
(iii)グローバル・アテンション・メカニズム。
私たちは、複数のタイプのエンコーディングをサポートし、小さなグラフと大きなグラフの両方で効率性とスケーラビリティを提供するモジュラーフレームワーク$\textit{GraphGPS}$を構築し、オープンソース化します。
アーキテクチャを11のベンチマークでテストし、すべてのベンチマークで非常に競争力のある結果を示し、モジュール性によって得られる経験上のメリットと、さまざまな戦略の組み合わせを示しています。
関連論文リスト
- Node-like as a Whole: Structure-aware Searching and Coarsening for Graph Classification [14.602474387096244]
グラフトランスフォーマー(GT)は、グラフレベルのタスクにおいて顕著な成果を上げている。
グラフ構造全体をノード的に扱うことで、ハイレベルな機能を学ぶことができますか?
本稿では,構造認識探索と粗化による多視点グラフ表現学習モデルを提案する。
論文 参考訳（メタデータ） (2024-04-18T03:03:37Z) - Graph Transformers for Large Graphs [57.19338459218758]
この研究は、モデルの特徴と重要な設計制約を識別することに焦点を当てた、単一の大規模グラフでの表現学習を前進させる。
この研究の重要な革新は、局所的な注意機構と組み合わされた高速な近傍サンプリング技術の作成である。
ogbn-products と snap-patents の3倍の高速化と16.8%の性能向上を報告し、ogbn-100M で LargeGT を5.9% の性能改善で拡張した。
論文 参考訳（メタデータ） (2023-12-18T11:19:23Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳（メタデータ） (2023-06-19T08:03:25Z) - Exphormer: Sparse Transformers for Graphs [5.055213942955148]
パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。
Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
論文 参考訳（メタデータ） (2023-03-10T18:59:57Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳（メタデータ） (2022-02-17T06:02:06Z) - GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。
我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
論文 参考訳（メタデータ） (2021-06-10T11:36:22Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳（メタデータ） (2021-06-09T17:18:52Z) - Sparse Partial Least Squares for Coarse Noisy Graph Alignment [10.172041234280865]
グラフ信号処理(GSP)は、様々な領域で発生する信号を分析する強力なフレームワークを提供する。
本稿では,観測されたグラフ構造を組み込んで,その基盤となるブロックコミュニティ構造を反映させる,新しい正則化部分最小二乗法を提案する。
論文 参考訳（メタデータ） (2021-04-06T21:52:15Z) - A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文 参考訳（メタデータ） (2020-12-17T16:11:47Z) - Factorizable Graph Convolutional Networks [90.59836684458905]
本稿では,グラフに符号化された相互に絡み合った関係を明示的に解消する新しいグラフ畳み込みネットワーク(GCN)を提案する。
FactorGCNは単純なグラフを入力として取り、それをいくつかの分解グラフに分解する。
提案したFacterGCNは,合成および実世界のデータセットに対して質的かつ定量的に評価する。
論文 参考訳（メタデータ） (2020-10-12T03:01:40Z) - Graph Convolution Machine for Context-aware Recommender System [59.50474932860843]
グラフ畳み込みの利点を文脈認識推薦システム(CARS)に拡張する。
我々は、エンコーダ、グラフ畳み込み層、デコーダの3つのコンポーネントからなるエンドツーエンドフレームワークである textitGraph Convolution Machine (GCM) を提案する。
我々はYelpとAmazonの3つの実世界のデータセットで実験を行い、GCMの有効性とCARSのためのグラフ畳み込みの利点を検証する。
論文 参考訳（メタデータ） (2020-01-30T15:32:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。