論文の概要: GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation
- arxiv url: http://arxiv.org/abs/2403.15520v1
- Date: Fri, 22 Mar 2024 12:22:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 22:12:28.202828
- Title: GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation
- Title(参考訳): GTC: 自己教師付き不均一グラフ表現のためのGNN変換器のココントラスト学習
- Authors: Yundong Sun, Dongjie Zhu, Yansong Wang, Zhaoshuo Tian,
- Abstract要約: 本稿では,GNN-Transformerの協調学習手法を提案し,GTCアーキテクチャを構築する。
The Transformer branch for the Metapath-aware Hop2Token and CG-Hetphormer which can Cooper with GNN to Attentively encoding neighborhood information from different levels。
実際のデータセットでの実験では、GTCは最先端の手法よりも優れた性能を示している。
- 参考スコア(独自算出の注目度): 0.9249657468385781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) have emerged as the most powerful weapon for various graph tasks due to the message-passing mechanism's great local information aggregation ability. However, over-smoothing has always hindered GNNs from going deeper and capturing multi-hop neighbors. Unlike GNNs, Transformers can model global information and multi-hop interactions via multi-head self-attention and a proper Transformer structure can show more immunity to the over-smoothing problem. So, can we propose a novel framework to combine GNN and Transformer, integrating both GNN's local information aggregation and Transformer's global information modeling ability to eliminate the over-smoothing problem? To realize this, this paper proposes a collaborative learning scheme for GNN-Transformer and constructs GTC architecture. GTC leverages the GNN and Transformer branch to encode node information from different views respectively, and establishes contrastive learning tasks based on the encoded cross-view information to realize self-supervised heterogeneous graph representation. For the Transformer branch, we propose Metapath-aware Hop2Token and CG-Hetphormer, which can cooperate with GNN to attentively encode neighborhood information from different levels. As far as we know, this is the first attempt in the field of graph representation learning to utilize both GNN and Transformer to collaboratively capture different view information and conduct cross-view contrastive learning. The experiments on real datasets show that GTC exhibits superior performance compared with state-of-the-art methods. Codes can be available at https://github.com/PHD-lanyu/GTC.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、メッセージパッシング機構の偉大なローカル情報集約能力のために、様々なグラフタスクの最も強力な武器として登場した。
しかし、過度にスムースな行為は、GNNがより深く行き来し、複数のホップの隣人を捕らえるのを常に妨げてきた。
GNNとは異なり、トランスフォーマーはマルチヘッド自己アテンションを通じてグローバル情報やマルチホップインタラクションをモデル化することができ、適切なトランスフォーマー構造はオーバースムーシング問題に対する免疫力を高めることができる。
そこで、GNNとTransformerを組み合わせた新しいフレームワークを提案し、GNNのローカル情報集約とTransformerのグローバル情報モデリング機能を統合して、過度にスムースな問題を解消できるだろうか?
そこで本研究では,GNN-Transformerの協調学習手法を提案し,GTCアーキテクチャを構築する。
GTCはGNNとTransformerのブランチを利用してそれぞれ異なるビューからノード情報を符号化し、符号化されたクロスビュー情報に基づいてコントラスト学習タスクを確立し、自己教師付きヘテロジニアスグラフ表現を実現する。
The Transformer branch for the Metapath-aware Hop2Token and CG-Hetphormer which can Cooper with GNN to Attentively encoding neighborhood information from different levels。
私たちが知る限り、グラフ表現学習の分野において、GNNとTransformerを併用して、異なるビュー情報を協調的に取得し、クロスビューのコントラスト学習を行う最初の試みである。
実データを用いた実験により, GTCは最先端の手法に比べて優れた性能を示した。
コードはhttps://github.com/PHD-lanyu/GTCで入手できる。
関連論文リスト
- Learning Graph Quantized Tokenizers for Transformers [28.79505338383552]
グラフトランスフォーマー(GT)は、さまざまなグラフ学習タスクにおいて、グラフニューラルネットワーク(GNN)よりも優れた、ディープラーニングのリードモデルとして登場した。
GQT (textbfGraph textbfQuantized textbfTokenizer) を導入した。
GQTとトークン変調を組み合わせることで、Transformerエンコーダは18のベンチマークのうち16の最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-10-17T17:38:24Z) - DuoFormer: Leveraging Hierarchical Visual Representations by Local and Global Attention [1.5624421399300303]
本稿では、畳み込みニューラルネットワーク(CNN)の特徴抽出機能と視覚変換器(ViT)の高度な表現可能性とを包括的に統合した新しい階層型トランスフォーマーモデルを提案する。
インダクティブバイアスの欠如と、ViTの広範囲なトレーニングデータセットへの依存に対処するため、我々のモデルはCNNバックボーンを使用して階層的な視覚表現を生成する。
これらの表現は、革新的なパッチトークン化を通じてトランスフォーマー入力に適合する。
論文 参考訳(メタデータ) (2024-07-18T22:15:35Z) - Cell Graph Transformer for Nuclei Classification [78.47566396839628]
我々は,ノードとエッジを入力トークンとして扱うセルグラフ変換器(CGT)を開発した。
不愉快な特徴は、騒々しい自己注意スコアと劣等な収束につながる可能性がある。
グラフ畳み込みネットワーク(GCN)を利用して特徴抽出器を学習する新しいトポロジ対応事前学習法を提案する。
論文 参考訳(メタデータ) (2024-02-20T12:01:30Z) - TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems [31.922581157563272]
協調フィルタリング(CF)のための有望なソリューションとして、グラフニューラルネットワーク(GNN)が登場している。
本稿では,Transformer層とGNN層を相互に拡張するために交互に統合する新しいモデルであるTransGNNを提案する。
論文 参考訳(メタデータ) (2023-08-28T07:03:08Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - Representing Long-Range Context for Graph Neural Networks with Global
Attention [37.212747564546156]
本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。
提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。
その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
論文 参考訳(メタデータ) (2022-01-21T18:16:21Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳(メタデータ) (2021-10-15T05:59:15Z) - MSG-Transformer: Exchanging Local Spatial Information by Manipulating
Messenger Tokens [129.10351459066501]
メッセンジャー(MSG)として機能する各領域に特化トークンを提案する。
これらのMSGトークンを操作することで、領域間で柔軟に視覚情報を交換することができる。
次に、MSGトークンをMSG-Transformerというマルチスケールアーキテクチャに統合する。
論文 参考訳(メタデータ) (2021-05-31T17:16:42Z) - A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。
本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。
UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
論文 参考訳(メタデータ) (2020-10-05T04:57:18Z) - Graph Neural Networks: Architectures, Stability and Transferability [176.3960927323358]
グラフニューラルネットワーク(GNN)は、グラフでサポートされている信号のための情報処理アーキテクチャである。
これらは、個々の層がグラフ畳み込みフィルタのバンクを含む畳み込みニューラルネットワーク(CNN)の一般化である。
論文 参考訳(メタデータ) (2020-08-04T18:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。