論文の概要: Graph-Aware Transformer: Is Attention All Graphs Need?
- arxiv url: http://arxiv.org/abs/2006.05213v1
- Date: Tue, 9 Jun 2020 12:13:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 13:16:09.812112
- Title: Graph-Aware Transformer: Is Attention All Graphs Need?
- Title（参考訳）: グラフ対応トランス:すべてのグラフは必要か?
- Authors: Sanghyun Yoo, Young-Seok Kim, Kang Hyun Lee, Kuhwan Jeong, Junhwi
Choi, Hoshik Lee, Young Sang Choi
- Abstract要約: GRaph-Aware Transformer (GRAT)はTransformerベースの最初のモデルであり、グラフ全体をエンドツーエンドでエンコードしデコードすることができる。
GRATはQM9ベンチマークで4つの回帰タスクに対する最先端のパフォーマンスを含む非常に有望な結果を示している。
- 参考スコア（独自算出の注目度）: 5.240000443825077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graphs are the natural data structure to represent relational and structural
information in many domains. To cover the broad range of graph-data
applications including graph classification as well as graph generation, it is
desirable to have a general and flexible model consisting of an encoder and a
decoder that can handle graph data. Although the representative encoder-decoder
model, Transformer, shows superior performance in various tasks especially of
natural language processing, it is not immediately available for graphs due to
their non-sequential characteristics. To tackle this incompatibility, we
propose GRaph-Aware Transformer (GRAT), the first Transformer-based model which
can encode and decode whole graphs in end-to-end fashion. GRAT is featured with
a self-attention mechanism adaptive to the edge information and an
auto-regressive decoding mechanism based on the two-path approach consisting of
sub-graph encoding path and node-and-edge generation path for each decoding
step. We empirically evaluated GRAT on multiple setups including encoder-based
tasks such as molecule property predictions on QM9 datasets and
encoder-decoder-based tasks such as molecule graph generation in the organic
molecule synthesis domain. GRAT has shown very promising results including
state-of-the-art performance on 4 regression tasks in QM9 benchmark.
- Abstract（参考訳）: グラフは、多くのドメインにおけるリレーショナルおよび構造情報を表す自然なデータ構造である。
グラフの分類やグラフ生成を含む幅広いグラフデータアプリケーションをカバーするためには、エンコーダとグラフデータを扱うデコーダからなる汎用的で柔軟なモデルが望ましい。
代表的エンコーダ・デコーダモデルであるTransformerは,特に自然言語処理における様々なタスクにおいて優れた性能を示すが,その非逐次特性のため,グラフではすぐには利用できない。
この非互換性に対処するために、グラフ全体をエンドツーエンドでエンコードおよびデコード可能な、最初のトランスフォーマーベースのモデルであるgraph-aware transformer (grat)を提案する。
GRATは、エッジ情報に適応する自己保持機構と、各復号ステップ用のサブグラフ符号化パスとノード・アンド・エッジ生成パスからなる2パスアプローチに基づく自己回帰復号機構を備える。
QM9データセット上の分子特性予測や有機分子合成領域における分子グラフ生成などのエンコーダ・デコーダ・タスクなどのエンコーダ・ベースのタスクを含む,複数のセットアップ上でGRATを実証的に評価した。
GRATはQM9ベンチマークで4つの回帰タスクに対する最先端のパフォーマンスを含む非常に有望な結果を示している。
関連論文リスト
- InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。
InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。
Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
論文 参考訳（メタデータ） (2024-10-09T17:56:15Z) - Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文 参考訳（メタデータ） (2024-01-31T12:33:31Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳（メタデータ） (2023-09-18T20:12:17Z) - Graph-to-Text Generation with Dynamic Structure Pruning [19.37474618180399]
入力グラフ表現条件を新たに生成したコンテキストに再エンコードする構造認識型クロスアテンション(SACA)機構を提案する。
LDC 2020T02 と ENT-DESC の2つのグラフ・トゥ・テキスト・データセットに対して,計算コストをわずかに増加させるだけで,最先端の新たな結果が得られる。
論文 参考訳（メタデータ） (2022-09-15T12:48:10Z) - GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。
我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
論文 参考訳（メタデータ） (2021-06-10T11:36:22Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳（メタデータ） (2021-06-09T17:18:52Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳（メタデータ） (2021-06-07T18:11:11Z) - Learning Graphon Autoencoders for Generative Graph Modeling [91.32624399902755]
Graphonは任意のサイズでグラフを生成する非パラメトリックモデルであり、グラフから簡単に誘導できる。
解析可能でスケーラブルなグラフ生成モデルを構築するために,textitgraphon autoencoder という新しいフレームワークを提案する。
線形グルーポン分解モデルはデコーダとして機能し、潜在表現を活用して誘導されたグルーポンを再構成する。
論文 参考訳（メタデータ） (2021-05-29T08:11:40Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳（メタデータ） (2020-10-09T07:35:26Z) - AEGCN: An Autoencoder-Constrained Graph Convolutional Network [5.023274927781062]
本稿では,オートエンコーダ制約付きグラフ畳み込みネットワークと呼ばれる新しいニューラルネットワークアーキテクチャを提案する。
このモデルのコアはグラフ上で直接動作する畳み込みネットワークであり、隠れた層はオートエンコーダによって制約される。
オートエンコーダの制約を追加することで,グラフ畳み込みネットワークの性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-07-03T16:42:55Z) - Auto-decoding Graphs [91.3755431537592]
生成モデルは、潜在コードからグラフを合成することを学ぶ自動デコーダである。
グラフは、おそらく接続パターンを特定するためにトレーニングされた自己アテンションモジュールを使用して合成される。
論文 参考訳（メタデータ） (2020-06-04T14:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。