論文の概要: SignGT: Signed Attention-based Graph Transformer for Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2310.11025v1
• Date: Tue, 17 Oct 2023 06:42:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 17:22:42.385374
• Title: SignGT: Signed Attention-based Graph Transformer for Graph Representation Learning
• Title（参考訳）: SignGT:グラフ表現学習のための署名注意に基づくグラフ変換器
• Authors: Jinsong Chen, Gaichao Li, John E. Hopcroft, Kun He
• Abstract要約: 本稿では,グラフから様々な周波数情報を適応的に取得するSigned Attention-based Graph Transformer (SignGT)を提案する。 具体的には、SignGTは、ノードペアの意味的関連性に応じて署名された注意値を生成する、署名付き自己注意機構(SignSA)を新たに開発した。
• 参考スコア（独自算出の注目度）: 15.248591535696146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emerging graph Transformers have achieved impressive performance for graph representation learning over graph neural networks (GNNs). In this work, we regard the self-attention mechanism, the core module of graph Transformers, as a two-step aggregation operation on a fully connected graph. Due to the property of generating positive attention values, the self-attention mechanism is equal to conducting a smooth operation on all nodes, preserving the low-frequency information. However, only capturing the low-frequency information is inefficient in learning complex relations of nodes on diverse graphs, such as heterophily graphs where the high-frequency information is crucial. To this end, we propose a Signed Attention-based Graph Transformer (SignGT) to adaptively capture various frequency information from the graphs. Specifically, SignGT develops a new signed self-attention mechanism (SignSA) that produces signed attention values according to the semantic relevance of node pairs. Hence, the diverse frequency information between different node pairs could be carefully preserved. Besides, SignGT proposes a structure-aware feed-forward network (SFFN) that introduces the neighborhood bias to preserve the local topology information. In this way, SignGT could learn informative node representations from both long-range dependencies and local topology information. Extensive empirical results on both node-level and graph-level tasks indicate the superiority of SignGT against state-of-the-art graph Transformers as well as advanced GNNs.
• Abstract（参考訳）: 新たなグラフトランスフォーマーは,グラフニューラルネットワーク(GNN)上でのグラフ表現学習において,優れたパフォーマンスを実現している。 本研究では,グラフ変換器のコアモジュールである自己アテンション機構を,完全連結グラフ上での2段階の集約操作とみなす。 正の注意値を生成する性質のため、自己注意機構は低周波情報を保持する全てのノードで円滑な操作を行うのに等しい。 しかし、低周波情報をキャプチャすることは、高周波情報が重要であるヘテロフィリーグラフのような多様なグラフ上のノードの複雑な関係を学ぶのに非効率である。 そこで本研究では,グラフから様々な周波数情報を適応的に取得する符号付き注意型グラフトランスフォーマ(signgt)を提案する。 具体的には、signgtはノード対の意味的関連性に応じて符号付き注意値を生成する新しいサイン付き自己アテンション機構(signsa)を開発する。 したがって、異なるノード対間の多様な周波数情報を慎重に保存することができる。 さらに、SignGTは、局所的なトポロジ情報を保存するために近隣バイアスを導入する構造対応フィードフォワードネットワーク(SFFN)を提案する。 このようにしてSignGTは、長距離依存と局所トポロジー情報の両方から情報的ノード表現を学習できる。 ノードレベルのタスクとグラフレベルのタスクの広範な実験結果は、最先端のGNNと同様に最先端のグラフ変換器に対するSignGTの優位性を示している。

関連論文リスト

• Self-Attention Empowered Graph Convolutional Network for Structure Learning and Node Embedding [5.164875580197953]
  グラフ構造化データの表現学習では、多くの人気のあるグラフニューラルネットワーク(GNN)が長距離依存をキャプチャできない。 本稿では,自己注意型グラフ畳み込みネットワーク(GCN-SA)と呼ばれる新しいグラフ学習フレームワークを提案する。 提案手法はノードレベルの表現学習において例外的な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-06T05:00:31Z)
• Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
  論文  参考訳（メタデータ） (2023-03-14T20:35:45Z)
• Diffusing Graph Attention [15.013509382069046]
  任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。 GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。 8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
  論文  参考訳（メタデータ） (2023-03-01T16:11:05Z)
• Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning [11.407118196728943]
  我々は、MNA-GT(Multi-Neighhood Attention based Graph Transformer)と呼ばれる適応グラフ変換器を提案する。 MNA-GTは、複数の隣り合う注意機構から各ノードのグラフ構造情報を適応的にキャプチャする。 様々なグラフベンチマークで実験を行い、MNA-GTが強いベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-15T08:12:44Z)
• Stable and Transferable Hyper-Graph Neural Networks [95.07035704188984]
  グラフニューラルネットワーク(GNN)を用いたハイパーグラフでサポートする信号処理アーキテクチャを提案する。 スペクトル類似性により任意のグラフにまたがってGNNの安定性と転送可能性の誤差をバウンドするフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-11-11T23:44:20Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。