論文の概要: Transformer for Graphs: An Overview from Architecture Perspective
- arxiv url: http://arxiv.org/abs/2202.08455v1
- Date: Thu, 17 Feb 2022 06:02:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 14:23:41.717491
- Title: Transformer for Graphs: An Overview from Architecture Perspective
- Title（参考訳）: グラフ用トランスフォーマー:アーキテクチャの観点からの概観
- Authors: Erxue Min, Runfa Chen, Yatao Bian, Tingyang Xu, Kangfei Zhao, Wenbing
Huang, Peilin Zhao, Junzhou Huang, Sophia Ananiadou, Yu Rong
- Abstract要約: グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
- 参考スコア（独自算出の注目度）: 86.3545861392215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Transformer model, which has achieved great success in many
artificial intelligence fields, has demonstrated its great potential in
modeling graph-structured data. Till now, a great variety of Transformers has
been proposed to adapt to the graph-structured data. However, a comprehensive
literature review and systematical evaluation of these Transformer variants for
graphs are still unavailable. It's imperative to sort out the existing
Transformer models for graphs and systematically investigate their
effectiveness on various graph tasks. In this survey, we provide a
comprehensive review of various Graph Transformer models from the architectural
design perspective. We first disassemble the existing models and conclude three
typical ways to incorporate the graph information into the vanilla Transformer:
1) GNNs as Auxiliary Modules, 2) Improved Positional Embedding from Graphs, and
3) Improved Attention Matrix from Graphs. Furthermore, we implement the
representative components in three groups and conduct a comprehensive
comparison on various kinds of famous graph data benchmarks to investigate the
real performance gain of each component. Our experiments confirm the benefits
of current graph-specific modules on Transformer and reveal their advantages on
different kinds of graph tasks.
- Abstract（参考訳）: 近年,多くの人工知能分野で大きな成功を収めたTransformerモデルは,グラフ構造化データのモデリングにおいて大きな可能性を実証している。
現在、グラフ構造化データに適応するために、様々なトランスフォーマーが提案されている。
しかし、これらの変圧器のグラフに対する包括的な文献レビューと体系的な評価はまだ利用できない。
既存のグラフのトランスフォーマーモデルを整理し、様々なグラフタスクの有効性を体系的に調査することが不可欠である。
本稿では,建築設計の観点から様々なグラフトランスフォーマーモデルの包括的レビューを行う。
最初に既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
1)補助モジュールとしてのGNN
2)グラフによる位置埋め込みの改善,及び
3)グラフからの注意行列の改善。
さらに,代表コンポーネントを3つのグループに実装し,様々なグラフデータベンチマークの総合的な比較を行い,各コンポーネントの性能向上について検討する。
筆者らは,現行のグラフ特定モジュールによるトランスフォーマタの利点を検証し,その利点をグラフタスクで明らかにする。
関連論文リスト
- SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。
本研究では,一層伝播を一層伝播に還元できることを示す。
これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
論文 参考訳（メタデータ） (2024-09-13T17:37:34Z) - Graph Transformers: A Survey [15.68583521879617]
グラフトランスフォーマーは機械学習の最近の進歩であり、グラフ構造化データのためのニューラルネットワークモデルの新たなクラスを提供する。
この調査は、グラフトランスフォーマー研究における最近の進歩と課題について、詳細なレビューを提供する。
論文 参考訳（メタデータ） (2024-07-13T05:15:24Z) - Automatic Graph Topology-Aware Transformer [50.2807041149784]
マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。
EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。
グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
論文 参考訳（メタデータ） (2024-05-30T07:44:31Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳（メタデータ） (2023-09-18T20:12:17Z) - Exphormer: Sparse Transformers for Graphs [5.055213942955148]
パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。
Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
論文 参考訳（メタデータ） (2023-03-10T18:59:57Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳（メタデータ） (2023-02-06T16:26:29Z) - Transformers over Directed Acyclic Graphs [6.263470141349622]
有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。
グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
論文 参考訳（メタデータ） (2022-10-24T12:04:52Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳（メタデータ） (2021-06-09T17:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。