論文の概要: Tokenphormer: Structure-aware Multi-token Graph Transformer for Node Classification
- arxiv url: http://arxiv.org/abs/2412.15302v1
- Date: Thu, 19 Dec 2024 10:44:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:23:25.715271
- Title: Tokenphormer: Structure-aware Multi-token Graph Transformer for Node Classification
- Title（参考訳）: Tokenphormer: ノード分類のための構造対応マルチトークングラフ変換器
- Authors: Zijie Zhou, Zhaoqi Lu, Xuekai Wei, Rongqin Chen, Shenghui Zhang, Pak Lon Ip, Leong Hou U,
- Abstract要約: 構造対応マルチトークングラフ変換器(Tokenphormer)を提案する。
複数のトークンを生成し、局所的および構造的な情報をキャプチャし、異なるレベルの粒度でグローバルな情報を探索する。
実験により,提案したTokenphormerのノード分類タスクにおける最先端性能を実現することができることを示した。
- 参考スコア（独自算出の注目度）: 9.967313792318606
- License:
- Abstract: Graph Neural Networks (GNNs) are widely used in graph data mining tasks. Traditional GNNs follow a message passing scheme that can effectively utilize local and structural information. However, the phenomena of over-smoothing and over-squashing limit the receptive field in message passing processes. Graph Transformers were introduced to address these issues, achieving a global receptive field but suffering from the noise of irrelevant nodes and loss of structural information. Therefore, drawing inspiration from fine-grained token-based representation learning in Natural Language Processing (NLP), we propose the Structure-aware Multi-token Graph Transformer (Tokenphormer), which generates multiple tokens to effectively capture local and structural information and explore global information at different levels of granularity. Specifically, we first introduce the walk-token generated by mixed walks consisting of four walk types to explore the graph and capture structure and contextual information flexibly. To ensure local and global information coverage, we also introduce the SGPM-token (obtained through the Self-supervised Graph Pre-train Model, SGPM) and the hop-token, extending the length and density limit of the walk-token, respectively. Finally, these expressive tokens are fed into the Transformer model to learn node representations collaboratively. Experimental results demonstrate that the capability of the proposed Tokenphormer can achieve state-of-the-art performance on node classification tasks.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータマイニングタスクで広く使われている。
従来のGNNは、ローカルおよび構造情報を効果的に活用できるメッセージパッシングスキームに従っている。
しかし、過密化や過密化の現象は、メッセージパッシングプロセスにおける受容野を制限する。
グラフ変換器はこれらの問題に対処するために導入され、グローバルな受容領域を実現するが、無関係なノードのノイズと構造情報の損失に悩まされた。
そこで,自然言語処理(NLP)における細粒度トークンに基づく表現学習からインスピレーションを得て,複数のトークンを生成し,局所的および構造的情報を効果的に捕捉し,粒度の異なるグローバル情報を探索する構造対応マルチトークン変換器(Tokenphormer)を提案する。
具体的には,まず,4種類の歩行タイプからなる混在歩行によって生成される歩行トケンについて紹介し,そのグラフを探索し,構造と文脈情報を柔軟に把握する。
また,地域情報とグローバル情報の利用を確保するため,SGPM-token (Self-supervised Graph Pre-train Model, SGPM) とホップトケン(ホップトケン)を導入し,ウォークトケンの長さと密度をそれぞれ拡張した。
最後に、これらの表現的トークンはTransformerモデルに入力され、ノード表現を協調的に学習する。
実験により,提案したTokenphormerのノード分類タスクにおける最先端性能を実現することができることを示した。
関連論文リスト
- Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。
提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。
これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文 参考訳（メタデータ） (2024-09-09T12:56:02Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections [45.27160435758666]
本稿では,各ノードのトークンリストをバッチにロードすることで,グラフトランスフォーマーのミニバッチトレーニングを可能にすることを示す。
さらに、このPPRトークン化は、固定フィルタとジャンプ知識を備えたグラフ畳み込みネットワークとして有効であることを示す。
論文 参考訳（メタデータ） (2024-03-24T06:10:56Z) - GGNNs : Generalizing GNNs using Residual Connections and Weighted
Message Passing [0.0]
GNNはグラフ内の関係やパターンを捕捉し、効果的な学習と予測タスクを可能にする。
GNNの一般化力は、層間のメッセージパッシング機構に起因すると一般的に信じられている。
提案手法は,各ノードにアキュミュレートする前にメッセージを重み付けし,Residual接続を追加することによって,メッセージパッシング機構をさらに改良する。
論文 参考訳（メタデータ） (2023-11-26T22:22:38Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳（メタデータ） (2023-06-19T08:03:25Z) - Tokenized Graph Transformer with Neighborhood Augmentation for Node
Classification in Large Graphs [11.868008619702277]
本稿では,各ノードを一連のトークンを含むシーケンスとして扱う近傍集約グラフ変換器(NAGphormer)を提案する。
Hop2Tokenは、異なるホップから異なる表現に近隣の特徴を集約し、トークンベクトルのシーケンスを1つの入力として生成する。
さらに,Hop2Tokenの出力に基づいてNrAug(Neighborhood Augmentation)と呼ばれる新しいデータ拡張手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T03:29:42Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Graph Ordering Attention Networks [22.468776559433614]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに関わる多くの問題でうまく使われている。
近隣ノード間のインタラクションをキャプチャする新しいGNNコンポーネントであるグラフ順序付け注意層(GOAT)を導入する。
GOATレイヤは、複雑な情報をキャプチャするグラフメトリクスのモデリングにおけるパフォーマンスの向上を示す。
論文 参考訳（メタデータ） (2022-04-11T18:13:19Z) - Local Augmentation for Graph Neural Networks [78.48812244668017]
本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。
局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
論文 参考訳（メタデータ） (2021-09-08T18:10:08Z) - Locality Preserving Dense Graph Convolutional Networks with Graph
Context-Aware Node Representations [19.623379678611744]
グラフ畳み込みネットワーク(GCN)はグラフデータの表現学習に広く利用されている。
多くのグラフ分類アプリケーションにおいて、GCNベースのアプローチは従来の手法よりも優れている。
グラフコンテキスト対応ノード表現を用いた局所性保存型高密度GCNを提案する。
論文 参考訳（メタデータ） (2020-10-12T02:12:27Z) - Multi-Level Graph Convolutional Network with Automatic Graph Learning
for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。
空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。
MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文 参考訳（メタデータ） (2020-09-19T09:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。