論文の概要: Self-Attention Empowered Graph Convolutional Network for Structure
Learning and Node Embedding
- arxiv url: http://arxiv.org/abs/2403.03465v1
- Date: Wed, 6 Mar 2024 05:00:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:02:49.853378
- Title: Self-Attention Empowered Graph Convolutional Network for Structure
Learning and Node Embedding
- Title（参考訳）: 自己注意型グラフ畳み込みネットワークによる構造学習とノード埋め込み
- Authors: Mengying Jiang, Guizhong Liu, Yuanchao Su, Xinliang Wu
- Abstract要約: グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。
本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。
提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
- 参考スコア（独自算出の注目度）: 5.164875580197953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In representation learning on graph-structured data, many popular graph
neural networks (GNNs) fail to capture long-range dependencies, leading to
performance degradation. Furthermore, this weakness is magnified when the
concerned graph is characterized by heterophily (low homophily). To solve this
issue, this paper proposes a novel graph learning framework called the graph
convolutional network with self-attention (GCN-SA). The proposed scheme
exhibits an exceptional generalization capability in node-level representation
learning. The proposed GCN-SA contains two enhancements corresponding to edges
and node features. For edges, we utilize a self-attention mechanism to design a
stable and effective graph-structure-learning module that can capture the
internal correlation between any pair of nodes. This graph-structure-learning
module can identify reliable neighbors for each node from the entire graph.
Regarding the node features, we modify the transformer block to make it more
applicable to enable GCN to fuse valuable information from the entire graph.
These two enhancements work in distinct ways to help our GCN-SA capture
long-range dependencies, enabling it to perform representation learning on
graphs with varying levels of homophily. The experimental results on benchmark
datasets demonstrate the effectiveness of the proposed GCN-SA. Compared to
other outstanding GNN counterparts, the proposed GCN-SA is competitive.
- Abstract（参考訳）: グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできず、パフォーマンスが低下する。
さらに、この弱みは、関係グラフがヘテロフィリー(低ホモフィリー)によって特徴づけられるときに拡大される。
本稿では,グラフ畳み込みネットワーク (graph convolutional network with self-attention, gcn-sa) と呼ばれる新しいグラフ学習フレームワークを提案する。
提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
提案したGCN-SAには、エッジとノード機能に対応する2つの拡張が含まれている。
エッジに対しては,任意のノード間の内部相関をキャプチャ可能な,安定かつ効果的なグラフ構造学習モジュールを設計する。
このグラフ構造学習モジュールは、グラフ全体から各ノードの信頼できる隣人を特定することができる。
ノードの特徴に関しては、トランスフォーマーブロックを変更して、gcnがグラフ全体から貴重な情報を融合できるようにします。
これらの2つの拡張は、GCN-SAが長距離依存関係をキャプチャするのを助けるために、異なるレベルのホモフィリーを持つグラフ上で表現学習を行うことを可能にします。
ベンチマークデータセットによる実験結果は,提案したGCN-SAの有効性を示す。
他の優れたGNNと比較して、提案されたGCN-SAは競争力がある。
関連論文リスト
- Improving Graph Neural Networks by Learning Continuous Edge Directions [0.0]
グラフニューラルネットワーク(GNN)は、従来、非指向グラフ上の拡散に似たメッセージパッシング機構を採用している。
私たちのキーとなる洞察は、ファジィエッジ方向をグラフのエッジに割り当てることです。
ファジィエッジを持つグラフを学習するためのフレームワークとして,Continuous Edge Direction (CoED) GNNを提案する。
論文 参考訳（メタデータ） (2024-10-18T01:34:35Z) - MDS-GNN: A Mutual Dual-Stream Graph Neural Network on Graphs with Incomplete Features and Structure [8.00268216176428]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから表現を分析し学習するための強力なツールとして登場した。
GNNの卓越した性能にとって重要な前提条件は、完全なグラフ情報の提供である。
本研究では,特徴と構造間の相互利益学習を実装した相互二重ストリームグラフニューラルネットワーク(MDS-GNN)を提案する。
論文 参考訳（メタデータ） (2024-08-09T03:42:56Z) - DGNN: Decoupled Graph Neural Networks with Structural Consistency
between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。
ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。
複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文 参考訳（メタデータ） (2024-01-28T06:43:13Z) - GraphRARE: Reinforcement Learning Enhanced Graph Neural Network with Relative Entropy [21.553180564868306]
GraphRAREはノード相対エントロピーと深層強化学習に基づいて構築されたフレームワークである。
革新的なノード相対エントロピーは、ノードペア間の相互情報を測定するために使用される。
グラフトポロジを最適化するために,深層強化学習に基づくアルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-12-15T11:30:18Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳（メタデータ） (2021-10-15T05:59:15Z) - Self-supervised Consensus Representation Learning for Attributed Graph [15.729417511103602]
グラフ表現学習に自己教師付き学習機構を導入する。
本稿では,新しい自己教師型コンセンサス表現学習フレームワークを提案する。
提案手法はトポロジグラフと特徴グラフの2つの視点からグラフを扱う。
論文 参考訳（メタデータ） (2021-08-10T07:53:09Z) - Node Similarity Preserving Graph Convolutional Networks [51.520749924844054]
グラフニューラルネットワーク(GNN)は、ノード近傍の情報を集約し変換することで、グラフ構造とノードの特徴を探索する。
グラフ構造を利用してノード類似性を効果的かつ効率的に保存できるSimP-GCNを提案する。
本研究は,SimP-GCNが3つの分類グラフと4つの非補助グラフを含む7つのベンチマークデータセットに対して有効であることを示す。
論文 参考訳（メタデータ） (2020-11-19T04:18:01Z) - Multi-grained Semantics-aware Graph Neural Networks [13.720544777078642]
グラフニューラルネットワーク(GNN)は、グラフの表現学習において強力な技術である。
本研究では,ノードとグラフ表現を対話的に学習する統合モデルAdamGNNを提案する。
14の実世界のグラフデータセットに対する実験により、AdamGNNはノードとグラフの両方のタスクにおいて17の競合するモデルを大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2020-10-01T07:52:06Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-09T16:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。