論文の概要: Adaptive Multi-Neighborhood Attention based Transformer for Graph
Representation Learning
- arxiv url: http://arxiv.org/abs/2211.07970v1
- Date: Tue, 15 Nov 2022 08:12:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:57:54.045120
- Title: Adaptive Multi-Neighborhood Attention based Transformer for Graph
Representation Learning
- Title（参考訳）: グラフ表現学習のための適応型多目的注意型トランス
- Authors: Gaichao Li, Jinsong Chen, Kun He
- Abstract要約: 我々は、MNA-GT(Multi-Neighhood Attention based Graph Transformer)と呼ばれる適応グラフ変換器を提案する。
MNA-GTは、複数の隣り合う注意機構から各ノードのグラフ構造情報を適応的にキャプチャする。
様々なグラフベンチマークで実験を行い、MNA-GTが強いベースラインよりも優れていることを示す実験結果を得た。
- 参考スコア（独自算出の注目度）: 11.407118196728943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By incorporating the graph structural information into Transformers, graph
Transformers have exhibited promising performance for graph representation
learning in recent years. Existing graph Transformers leverage specific
strategies, such as Laplacian eigenvectors and shortest paths of the node
pairs, to preserve the structural features of nodes and feed them into the
vanilla Transformer to learn the representations of nodes. It is hard for such
predefined rules to extract informative graph structural features for arbitrary
graphs whose topology structure varies greatly, limiting the learning capacity
of the models. To this end, we propose an adaptive graph Transformer, termed
Multi-Neighborhood Attention based Graph Transformer (MNA-GT), which captures
the graph structural information for each node from the multi-neighborhood
attention mechanism adaptively. By defining the input to perform scaled-dot
product as an attention kernel, MNA-GT constructs multiple attention kernels
based on different hops of neighborhoods such that each attention kernel can
capture specific graph structural information of the corresponding neighborhood
for each node pair. In this way, MNA-GT can preserve the graph structural
information efficiently by incorporating node representations learned by
different attention kernels. MNA-GT further employs an attention layer to learn
the importance of different attention kernels to enable the model to adaptively
capture the graph structural information for different nodes. Extensive
experiments are conducted on a variety of graph benchmarks, and the empirical
results show that MNA-GT outperforms many strong baselines.
- Abstract（参考訳）: 近年,グラフ構造情報を変換器に組み込むことで,グラフ変換器はグラフ表現学習に有望な性能を示した。
既存のグラフトランスフォーマーは、ノードの構造的特徴を保存し、バニラトランスに供給してノードの表現を学ぶために、ラプラシアン固有ベクトルやノード対の最短経路などの特定の戦略を利用する。
このような事前定義された規則は、トポロジー構造が大きく変化する任意のグラフの有益グラフ構造の特徴を抽出し、モデルの学習能力を制限することは困難である。
本研究では,多目的注意機構から各ノードのグラフ構造情報を適応的に取得する多目的注意型グラフトランス(mna-gt)を提案する。
スケールドドット製品を実行する入力を注目カーネルとして定義することにより、MNA-GTは、各注目カーネルが各ノードペアごとに対応する近傍の特定のグラフ構造情報をキャプチャできるように、近隣の異なるホップに基づいて複数の注目カーネルを構築する。
このようにして、MNA-GTは異なる注目カーネルが学習したノード表現を組み込むことで、グラフ構造情報を効率的に保存することができる。
MNA-GTはさらに、異なる注目カーネルの重要性を学ぶために注意層を使用し、モデルが異なるノードのグラフ構造情報を適応的にキャプチャできるようにする。
様々なグラフベンチマークで広範な実験が行われ、mna-gtが多くの強力なベースラインを上回ることが実証された。
関連論文リスト
- InstructG2I: Synthesizing Images from Multimodal Attributed Graphs [50.852150521561676]
InstructG2Iと呼ばれるグラフ文脈条件拡散モデルを提案する。
InstructG2Iはまずグラフ構造とマルチモーダル情報を利用して情報的隣人サンプリングを行う。
Graph-QFormerエンコーダは、グラフノードをグラフプロンプトの補助セットに適応的に符号化し、デノナイジングプロセスを導く。
論文 参考訳（メタデータ） (2024-10-09T17:56:15Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information [0.8184895397419141]
グラフトランスフォーマーは、メッセージパッシンググラフニューラルネットワーク(MP-GNN)の強力な代替品として登場した。
本稿では,グラフスペクトル情報を直接符号化する新しい手法であるグラフスペクトルトークンを提案する。
既存のグラフ変換器であるGraphTransとSubFormerを拡張して,提案手法の有効性をベンチマークする。
論文 参考訳（メタデータ） (2024-04-08T15:24:20Z) - SignGT: Signed Attention-based Graph Transformer for Graph
Representation Learning [15.248591535696146]
本稿では,グラフから様々な周波数情報を適応的に取得するSigned Attention-based Graph Transformer (SignGT)を提案する。
具体的には、SignGTは、ノードペアの意味的関連性に応じて署名された注意値を生成する、署名付き自己注意機構(SignSA)を新たに開発した。
論文 参考訳（メタデータ） (2023-10-17T06:42:11Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳（メタデータ） (2023-06-19T08:03:25Z) - Graph Propagation Transformer for Graph Representation Learning [36.01189696668657]
グラフ伝搬注意(GPA)と呼ばれる新しい注意機構を提案する。
ノード・ツー・ノード、ノード・ツー・エッジ、エッジ・ツー・ノードという3つの方法で、ノードとエッジ間で明示的に情報を渡す。
提案手法は,多くの最先端のトランスフォーマーベースグラフモデルよりも優れた性能を有することを示す。
論文 参考訳（メタデータ） (2023-05-19T04:42:58Z) - Diffusing Graph Attention [15.013509382069046]
任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。
GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。
8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
論文 参考訳（メタデータ） (2023-03-01T16:11:05Z) - SHGNN: Structure-Aware Heterogeneous Graph Neural Network [77.78459918119536]
本稿では、上記の制約に対処する構造対応不均一グラフニューラルネットワーク(SHGNN)を提案する。
まず,メタパス内の中間ノードの局所構造情報を取得するために,特徴伝搬モジュールを利用する。
次に、ツリーアテンションアグリゲータを使用して、グラフ構造情報をメタパス上のアグリゲーションモジュールに組み込む。
最後に、メタパスアグリゲータを利用して、異なるメタパスから集約された情報を融合する。
論文 参考訳（メタデータ） (2021-12-12T14:18:18Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳（メタデータ） (2021-10-15T05:59:15Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T17:57:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。