Fugu-MT 論文翻訳(概要): Tokenized Graph Transformer with Neighborhood Augmentation for Node Classification in Large Graphs

論文の概要: Tokenized Graph Transformer with Neighborhood Augmentation for Node Classification in Large Graphs

arxiv url: http://arxiv.org/abs/2305.12677v1
Date: Mon, 22 May 2023 03:29:42 GMT
ステータス: 処理完了
システム内更新日: 2023-05-23 18:48:16.551239
Title: Tokenized Graph Transformer with Neighborhood Augmentation for Node Classification in Large Graphs
Title（参考訳）: 大規模グラフのノード分類のための近傍拡張付きトークン化グラフトランスフォーマ
Authors: Jinsong Chen, Chang Liu, Kaiyuan Gao, Gaichao Li, Kun He
Abstract要約: 本稿では,各ノードを一連のトークンを含むシーケンスとして扱う近傍集約グラフ変換器(NAGphormer)を提案する。 Hop2Tokenは、異なるホップから異なる表現に近隣の特徴を集約し、トークンベクトルのシーケンスを1つの入力として生成する。さらに,Hop2Tokenの出力に基づいてNrAug(Neighborhood Augmentation)と呼ばれる新しいデータ拡張手法を提案する。
参考スコア（独自算出の注目度）: 11.868008619702277
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Transformers, emerging as a new architecture for graph representation learning, suffer from the quadratic complexity on the number of nodes when handling large graphs. To this end, we propose a Neighborhood Aggregation Graph Transformer (NAGphormer) that treats each node as a sequence containing a series of tokens constructed by our proposed Hop2Token module. For each node, Hop2Token aggregates the neighborhood features from different hops into different representations, producing a sequence of token vectors as one input. In this way, NAGphormer could be trained in a mini-batch manner and thus could scale to large graphs. Moreover, we mathematically show that compared to a category of advanced Graph Neural Networks (GNNs), called decoupled Graph Convolutional Networks, NAGphormer could learn more informative node representations from multi-hop neighborhoods. In addition, we propose a new data augmentation method called Neighborhood Augmentation (NrAug) based on the output of Hop2Token that augments simultaneously the features of neighborhoods from global as well as local views to strengthen the training effect of NAGphormer. Extensive experiments on benchmark datasets from small to large demonstrate the superiority of NAGphormer against existing graph Transformers and mainstream GNNs, and the effectiveness of NrAug for further boosting NAGphormer.
Abstract（参考訳）: グラフ表現学習の新しいアーキテクチャとして出現するグラフトランスフォーマーは、大規模なグラフを扱う場合のノード数の二次的複雑さに苦しむ。この目的のために,提案するHop2Tokenモジュールによって構築された一連のトークンを含むシーケンスとして,各ノードを処理するNeighborhood Aggregation Graph Transformer (NAGphormer)を提案する。各ノードについて、Hop2Tokenは異なるホップから異なる表現に近傍の特徴を集約し、トークンベクトルのシーケンスを1つの入力として生成する。このようにして、NAGphormerはミニバッチで訓練できるため、大きなグラフにスケールすることができる。さらに,グラフ畳み込みネットワークと呼ばれる高度なグラフニューラルネットワーク(GNN)のカテゴリと比較して,NAGphormerはマルチホップ地区からより情報的なノード表現を学習できることを示す。さらに,hop2tokenの出力に基づいて,nagphormerのトレーニング効果を高めるために,グローバルおよびローカルビューからの近傍の特徴を同時に強化する,nearby additionation(nraug)と呼ばれる新しいデータ拡張手法を提案する。ベンチマークデータセットに関する広範囲な実験は、既存のグラフトランスフォーマーや主流gnnに対するnagphormerの優位性と、nraugによるnagphormerのさらなる強化効果を示している。

関連論文リスト

Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers [14.123432611346674]
我々はGCFormerと呼ばれる新しいグラフ変換器を提案し、最適なノード表現の学習にグラフ情報を利用する。 GCFormerはハイブリッドトークンジェネレータを開発し、正と負の2種類のトークンシーケンスを生成し、多様なグラフ情報をキャプチャする。これらの生成されたトークンシーケンスから意味のあるノード表現を学習するために、カスタマイズされたTransformerベースのバックボーンが採用されている。
論文参考訳（メタデータ） (2024-06-27T15:29:47Z)
NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification [11.451341325579188]
我々はNTFormerと呼ばれる新しいグラフ変換器を提案し,ノード分類問題に対処する。 Node2Parと呼ばれる新しいトークンジェネレータは、各ノードごとに異なるトークン要素を使用してさまざまなトークンシーケンスを生成する。様々なベンチマークデータセットで行った実験は、ノード分類のための代表グラフ変換器やグラフニューラルネットワークよりもNTFormerの方が優れていることを示した。
論文参考訳（メタデータ） (2024-06-27T15:16:00Z)
Masked Graph Transformer for Large-Scale Recommendation [56.37903431721977]
本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
論文参考訳（メタデータ） (2024-05-07T06:00:47Z)
SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention [1.4126245676224705]
Graph Transformerは、Graph Neural Networks(GNN)固有の制限を軽減するための、有望なソリューションとして登場した。本稿では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。 SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回る。
論文参考訳（メタデータ） (2024-03-21T03:11:53Z)
Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
論文参考訳（メタデータ） (2023-04-06T01:09:36Z)
Pure Transformers are Powerful Graph Learners [51.36884247453605]
グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
論文参考訳（メタデータ） (2022-07-06T08:13:06Z)
NAGphormer: Neighborhood Aggregation Graph Transformer for Node Classification in Large Graphs [10.149586598073421]
本研究では,数百万のノードを持つ大規模グラフに対してスケーラブルなNAGphormer(Neighborhood Aggregation Graph Transformer)を提案する。 NAGphormerはHop2Tokenと呼ばれる近隣アグリゲーションモジュールによって各ノードのトークンを構成する。 6つの小さなデータセットと3つの大きなデータセットを含む、さまざまな人気のあるベンチマークで広範な実験を行います。
論文参考訳（メタデータ） (2022-06-10T07:23:51Z)
Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences [55.329402218608365]
本研究では,各ノードの階層的近傍をシーケンスに変換するためにNeighbor2Seqを提案する。 1100万以上のノードと160億のエッジを持つ大規模グラフ上で,本手法の評価を行った。その結果,提案手法は大規模グラフに対してスケーラブルであり,大規模グラフと中規模グラフにまたがる優れた性能を実現する。
論文参考訳（メタデータ） (2022-02-07T16:38:36Z)
Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文参考訳（メタデータ） (2021-10-15T05:59:15Z)
Bilinear Graph Neural Network with Neighbor Interactions [106.80781016591577]
グラフニューラルネットワーク(GNN)は,グラフデータ上で表現を学習し,予測を行う強力なモデルである。本稿では,グラフ畳み込み演算子を提案し,隣接するノードの表現の対の相互作用で重み付け和を増大させる。このフレームワークをBGNN(Bilinear Graph Neural Network)と呼び、隣ノード間の双方向相互作用によるGNN表現能力を向上させる。
論文参考訳（メタデータ） (2020-02-10T06:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。