Fugu-MT 論文翻訳(概要): DAGformer: Directed Acyclic Graph Transformer

論文の概要: DAGformer: Directed Acyclic Graph Transformer

arxiv url: http://arxiv.org/abs/2210.13148v1
Date: Mon, 24 Oct 2022 12:04:52 GMT
ステータス: 処理完了
システム内更新日: 2022-10-25 14:31:43.045487
Title: DAGformer: Directed Acyclic Graph Transformer
Title（参考訳）: DAGformer: 直接非循環グラフ変換器
Authors: Yuankai Luo
Abstract要約: 本稿では,部分順序で定義された到達可能性関係に従って情報を処理するトランスフォーマーアーキテクチャであるDAGformerを提案する。我々のアーキテクチャは、DAGデータセットの最先端のパフォーマンスを達成し、過去の全てのアプローチより優れていることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In many fields, such as natural language processing and computer vision, the Transformer architecture has become the standard. Recently, the Transformer architecture has also attracted a growing amount of interest in graph representation learning since it naturally overcomes some graph neural network (GNNs) restrictions. In this work, we focus on a special yet widely used class of graphs-DAGs. We propose the directed acyclic graph Transformer, DAGformer, a Transformer architecture that processes information according to the reachability relation defined by the partial order. DAGformer is simple and flexible, allowing it to be used with various transformer-based models. We show that our architecture achieves state-of-the-art performance on representative DAG datasets, outperforming all previous approaches.
Abstract（参考訳）: 自然言語処理やコンピュータビジョンといった多くの分野において、トランスフォーマーアーキテクチャが標準となっている。最近のtransformerアーキテクチャは、グラフニューラルネットワーク(gnn)の制限を自然に克服するため、グラフ表現学習への関心も高まっている。本研究では,グラフダグの特殊かつ広く使われているクラスに注目した。本稿では,部分順序で定義される到達可能性関係に応じて情報を処理する有向非巡回グラフトランス,dagformerを提案する。 DAGformerはシンプルで柔軟性があり、様々なトランスフォーマーベースのモデルで使用することができる。我々のアーキテクチャは、DAGデータセットの最先端のパフォーマンスを達成し、従来のアプローチよりも優れていることを示す。

関連論文リスト

SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。本研究では,一層伝播を一層伝播に還元できることを示す。これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
論文参考訳（メタデータ） (2024-09-13T17:37:34Z)
Automatic Graph Topology-Aware Transformer [50.2807041149784]
マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。 EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
論文参考訳（メタデータ） (2024-05-30T07:44:31Z)
Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information [0.8184895397419141]
グラフトランスフォーマーは、メッセージパッシンググラフニューラルネットワーク(MP-GNN)の強力な代替品として登場した。本稿では,グラフスペクトル情報を直接符号化する新しい手法であるグラフスペクトルトークンを提案する。既存のグラフ変換器であるGraphTransとSubFormerを拡張して,提案手法の有効性をベンチマークする。
論文参考訳（メタデータ） (2024-04-08T15:24:20Z)
Topology-Informed Graph Transformer [7.857955053895979]
グラフアイソモーフィズムの検出における識別力とグラフ変換器全体の性能を両立させる新しい変換器である「トポロジーインフォーマグラフ変換器(TIGT)」について検討した。 TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いた位相的位置埋め込み層はグラフの巡回部分グラフに基づいて一意なグラフ表現を保証する。 TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
論文参考訳（メタデータ） (2024-02-03T03:17:44Z)
Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文参考訳（メタデータ） (2024-01-31T12:33:31Z)
Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文参考訳（メタデータ） (2023-09-18T20:12:17Z)
SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文参考訳（メタデータ） (2023-06-19T08:03:25Z)
Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文参考訳（メタデータ） (2022-06-29T00:23:25Z)
Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文参考訳（メタデータ） (2022-02-17T06:02:06Z)
Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文参考訳（メタデータ） (2021-06-09T17:18:52Z)
A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文参考訳（メタデータ） (2020-12-17T16:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。