論文の概要: Graph Masked Autoencoder
- arxiv url: http://arxiv.org/abs/2202.08391v1
- Date: Thu, 17 Feb 2022 01:04:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 16:40:08.808034
- Title: Graph Masked Autoencoder
- Title(参考訳): グラフマスク付きオートエンコーダ
- Authors: Hongxu Chen, Sixiao Zhang, Guandong Xu
- Abstract要約: グラフ表現を学習するための自己教師型モデルであるグラフマスクオートエンコーダ(GMAE)を提案する。
GMAEは部分的にマスキングされたグラフを入力として、マスキングされたノードの特徴を再構築する。
GMAEを用いて事前学習したグラフトランスフォーマーは,スクラッチからのトレーニングに比べ,微調整後の性能が向上することを示した。
- 参考スコア(独自算出の注目度): 19.080326439575916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers have achieved state-of-the-art performance in learning graph
representations. However, there are still some challenges when applying
transformers to real-world scenarios due to the fact that deep transformers are
hard to be trained from scratch and the memory consumption is large. To address
the two challenges, we propose Graph Masked Autoencoders (GMAE), a
self-supervised model for learning graph representations, where vanilla graph
transformers are used as the encoder and the decoder. GMAE takes partially
masked graphs as input, and reconstructs the features of the masked nodes. We
adopt asymmetric encoder-decoder design, where the encoder is a deep graph
transformer and the decoder is a shallow graph transformer. The masking
mechanism and the asymmetric design make GMAE a memory-efficient model compared
with conventional transformers. We show that, compared with training from
scratch, the graph transformer pre-trained using GMAE can achieve much better
performance after fine-tuning. We also show that, when serving as a
conventional self-supervised graph representation model and using an SVM model
as the downstream graph classifier, GMAE achieves state-of-the-art performance
on 5 of the 7 benchmark datasets.
- Abstract(参考訳): トランスフォーマーはグラフ表現の学習において最先端のパフォーマンスを達成している。
しかし、深いトランスフォーマーをスクラッチからトレーニングすることは困難であり、メモリ消費が大きいため、現実世界のシナリオにトランスフォーマーを適用する際の課題が残っている。
この2つの課題に対処するために,我々は,バニラグラフ変換器をエンコーダおよびデコーダとして使用する,グラフ表現を学習するための自己教師型モデルであるGraph Masked Autoencoders (GMAE)を提案する。
GMAEは部分的にマスキングされたグラフを入力として、マスキングされたノードの特徴を再構築する。
我々は、非対称エンコーダ-デコーダ設計を採用し、エンコーダは深いグラフトランス、デコーダは浅いグラフトランスフォーマである。
マスキング機構と非対称設計によりgmaeは従来のトランスフォーマーに比べてメモリ効率の良いモデルとなった。
GMAEを用いて事前学習したグラフトランスフォーマーは,スクラッチからのトレーニングに比べ,微調整後の性能が向上することを示した。
また,従来の自己教師付きグラフ表現モデルとして機能し,svmモデルをダウンストリームグラフ分類器として使用する場合,gmaeは7つのベンチマークデータセットのうち5つで最先端のパフォーマンスを実現する。
関連論文リスト
- Learning Graph Quantized Tokenizers for Transformers [28.79505338383552]
グラフトランスフォーマー(GT)は、さまざまなグラフ学習タスクにおいて、グラフニューラルネットワーク(GNN)よりも優れた、ディープラーニングのリードモデルとして登場した。
GQT (textbfGraph textbfQuantized textbfTokenizer) を導入した。
GQTとトークン変調を組み合わせることで、Transformerエンコーダは18のベンチマークのうち16の最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-10-17T17:38:24Z) - Graph as Point Set [31.448841287258116]
本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。
これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。
提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
論文 参考訳(メタデータ) (2024-05-05T02:29:41Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。
AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。
いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
論文 参考訳(メタデータ) (2023-05-12T14:35:42Z) - Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。
ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。
本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-03-01T15:22:40Z) - What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。
様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
論文 参考訳(メタデータ) (2022-05-27T14:36:55Z) - Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。
具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。
エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
論文 参考訳(メタデータ) (2021-10-25T16:43:32Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Transformer-Based Deep Image Matching for Generalizable Person
Re-identification [114.56752624945142]
画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。
視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。
そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
論文 参考訳(メタデータ) (2021-05-30T05:38:33Z) - Graph-Aware Transformer: Is Attention All Graphs Need? [5.240000443825077]
GRaph-Aware Transformer (GRAT)はTransformerベースの最初のモデルであり、グラフ全体をエンドツーエンドでエンコードしデコードすることができる。
GRATはQM9ベンチマークで4つの回帰タスクに対する最先端のパフォーマンスを含む非常に有望な結果を示している。
論文 参考訳(メタデータ) (2020-06-09T12:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。