論文の概要: DAGformer: Directed Acyclic Graph Transformer
- arxiv url: http://arxiv.org/abs/2210.13148v1
- Date: Mon, 24 Oct 2022 12:04:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 14:31:43.045487
- Title: DAGformer: Directed Acyclic Graph Transformer
- Title(参考訳): DAGformer: 直接非循環グラフ変換器
- Authors: Yuankai Luo
- Abstract要約: 本稿では,部分順序で定義された到達可能性関係に従って情報を処理するトランスフォーマーアーキテクチャであるDAGformerを提案する。
我々のアーキテクチャは、DAGデータセットの最先端のパフォーマンスを達成し、過去の全てのアプローチより優れていることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many fields, such as natural language processing and computer vision, the
Transformer architecture has become the standard. Recently, the Transformer
architecture has also attracted a growing amount of interest in graph
representation learning since it naturally overcomes some graph neural network
(GNNs) restrictions. In this work, we focus on a special yet widely used class
of graphs-DAGs. We propose the directed acyclic graph Transformer, DAGformer, a
Transformer architecture that processes information according to the
reachability relation defined by the partial order. DAGformer is simple and
flexible, allowing it to be used with various transformer-based models. We show
that our architecture achieves state-of-the-art performance on representative
DAG datasets, outperforming all previous approaches.
- Abstract(参考訳): 自然言語処理やコンピュータビジョンといった多くの分野において、トランスフォーマーアーキテクチャが標準となっている。
最近のtransformerアーキテクチャは、グラフニューラルネットワーク(gnn)の制限を自然に克服するため、グラフ表現学習への関心も高まっている。
本研究では,グラフダグの特殊かつ広く使われているクラスに注目した。
本稿では,部分順序で定義される到達可能性関係に応じて情報を処理する有向非巡回グラフトランス,dagformerを提案する。
DAGformerはシンプルで柔軟性があり、様々なトランスフォーマーベースのモデルで使用することができる。
我々のアーキテクチャは、DAGデータセットの最先端のパフォーマンスを達成し、従来のアプローチよりも優れていることを示す。
関連論文リスト
- Topology-Informed Graph Transformer [7.857955053895979]
グラフアイソモーフィズムの検出における識別力とグラフ変換器全体の性能を両立させる新しい変換器である「トポロジーインフォーマグラフ変換器(TIGT)」について検討した。
TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いた位相的位置埋め込み層はグラフの巡回部分グラフに基づいて一意なグラフ表現を保証する。
TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
論文 参考訳(メタデータ) (2024-02-03T03:17:44Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。
ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。
本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-03-01T15:22:40Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2022-06-29T00:23:25Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳(メタデータ) (2022-02-17T06:02:06Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-03T17:57:53Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳(メタデータ) (2021-06-07T18:11:11Z) - A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。
アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文 参考訳(メタデータ) (2020-12-17T16:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。