論文の概要: A Survey of Graph Transformers: Architectures, Theories and Applications
- arxiv url: http://arxiv.org/abs/2502.16533v1
- Date: Sun, 23 Feb 2025 10:55:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 15:57:14.903813
- Title: A Survey of Graph Transformers: Architectures, Theories and Applications
- Title（参考訳）: グラフトランスフォーマーのサーベイ:アーキテクチャ、理論、応用
- Authors: Chaohao Yuan, Kangfei Zhao, Ercan Engin Kuruoglu, Liang Wang, Tingyang Xu, Wenbing Huang, Deli Zhao, Hong Cheng, Yu Rong,
- Abstract要約: 近年の研究では、多種多様なアーキテクチャ、説明可能性の向上、グラフトランスフォーマーの実用化などが提案されている。
グラフ変換器のアーキテクチャは,その構造情報処理戦略に従って分類する。
本稿では, 分子, タンパク質, 言語, 視覚トラフィック, 脳, 物質データなど, グラフトランスフォーマーの実用化について概説する。
- 参考スコア（独自算出の注目度）: 54.561539625830186
- License:
- Abstract: Graph Transformers (GTs) have demonstrated a strong capability in modeling graph structures by addressing the intrinsic limitations of graph neural networks (GNNs), such as over-smoothing and over-squashing. Recent studies have proposed diverse architectures, enhanced explainability, and practical applications for Graph Transformers. In light of these rapid developments, we conduct a comprehensive review of Graph Transformers, covering aspects such as their architectures, theoretical foundations, and applications within this survey. We categorize the architecture of Graph Transformers according to their strategies for processing structural information, including graph tokenization, positional encoding, structure-aware attention and model ensemble. Furthermore, from the theoretical perspective, we examine the expressivity of Graph Transformers in various discussed architectures and contrast them with other advanced graph learning algorithms to discover the connections. Furthermore, we provide a summary of the practical applications where Graph Transformers have been utilized, such as molecule, protein, language, vision traffic, brain and material data. At the end of this survey, we will discuss the current challenges and prospective directions in Graph Transformers for potential future research.
- Abstract（参考訳）: グラフトランスフォーマー(GT)は、グラフニューラルネットワーク(GNN)の内在的制約、例えばオーバー・スムーシングやオーバー・スクアッシングに対処することで、グラフ構造をモデル化する強力な能力を実証している。
近年,多種多様なアーキテクチャ,説明可能性の向上,グラフトランスフォーマーの実用化などが提案されている。
これらの急速な発展を踏まえ、我々はグラフトランスフォーマーの包括的なレビューを行い、そのアーキテクチャ、理論的基礎、そしてこの調査の応用などについて紹介する。
本稿では,グラフトークン化,位置符号化,構造認識の注意,モデルアンサンブルなどの構造情報処理戦略に基づいて,グラフトランスフォーマーのアーキテクチャを分類する。
さらに, 理論的観点から, 各種アーキテクチャにおけるグラフトランスフォーマーの表現性について検討し, それらと他の高度なグラフ学習アルゴリズムとの対比を行い, 接続を探索する。
さらに, 分子, タンパク質, 言語, 視覚トラフィック, 脳, 物質データなど, グラフトランスフォーマーの活用例を概説する。
この調査の最後には、今後の研究に向けて、グラフトランスフォーマーの現在の課題と今後の方向性について論じる。
関連論文リスト
- Graph Transformers: A Survey [15.68583521879617]
グラフトランスフォーマーは機械学習の最近の進歩であり、グラフ構造化データのためのニューラルネットワークモデルの新たなクラスを提供する。
この調査は、グラフトランスフォーマー研究における最近の進歩と課題について、詳細なレビューを提供する。
論文 参考訳（メタデータ） (2024-07-13T05:15:24Z) - Automatic Graph Topology-Aware Transformer [50.2807041149784]
マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。
EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。
グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
論文 参考訳（メタデータ） (2024-05-30T07:44:31Z) - A Survey on Structure-Preserving Graph Transformers [2.5252594834159643]
本稿では, 構造保存グラフ変換器の概要を概観し, 設計目的の観点からそれらの手法を一般化する。
また、グラフ構造を保存し、グラフの性質を理解するためのグラフトランスフォーマーモデルの課題と今後の方向性についても論じる。
論文 参考訳（メタデータ） (2024-01-29T14:18:09Z) - Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。
ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。
本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2023-03-01T15:22:40Z) - Attending to Graph Transformers [5.609943831664869]
グラフのトランスフォーマーアーキテクチャは、グラフを用いた機械学習の確立した技術に代わるものとして登場した。
ここでは、グラフトランスフォーマーアーキテクチャの分類を導き、この新興分野に何らかの秩序をもたらす。
グラフ変換器は, グラフ特性の回復, ヘテロ親水性グラフの処理能力, 過度なスキャッシングを防ぐ程度について検討する。
論文 参考訳（メタデータ） (2023-02-08T16:40:11Z) - A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective [71.03621840455754]
グラフニューラルネットワーク(GNN)はグラフ表現学習において勢いを増している。
Graph Transformerは、グラフ構造をTransformerアーキテクチャに組み込んで、局所的な近傍集約の制限を克服します。
本稿では,タスク指向の観点から,コンピュータビジョンにおけるGNNとグラフトランスフォーマーの総合的なレビューを行う。
論文 参考訳（メタデータ） (2022-09-27T08:10:14Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳（メタデータ） (2022-02-17T06:02:06Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳（メタデータ） (2021-06-09T17:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。