論文の概要: Rethinking Tokenized Graph Transformers for Node Classification

• arxiv url: http://arxiv.org/abs/2502.08101v1
• Date: Wed, 12 Feb 2025 03:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:50.342854
• Title: Rethinking Tokenized Graph Transformers for Node Classification
• Title（参考訳）: ノード分類のためのTokenized Graph Transformerの再検討
• Authors: Jinsong Chen, Chenyang Li, GaiChao Li, John E. Hopcroft, Kun He,
• Abstract要約: node tokenized graph Transformer (GTs) はノード分類において有望な性能を示している。 本稿では,SwapGTと呼ばれる新しいトークン列を生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 16.5581306015661
• License:
• Abstract: Node tokenized graph Transformers (GTs) have shown promising performance in node classification. The generation of token sequences is the key module in existing tokenized GTs which transforms the input graph into token sequences, facilitating the node representation learning via Transformer. In this paper, we observe that the generations of token sequences in existing GTs only focus on the first-order neighbors on the constructed similarity graphs, which leads to the limited usage of nodes to generate diverse token sequences, further restricting the potential of tokenized GTs for node classification. To this end, we propose a new method termed SwapGT. SwapGT first introduces a novel token swapping operation based on the characteristics of token sequences that fully leverages the semantic relevance of nodes to generate more informative token sequences. Then, SwapGT leverages a Transformer-based backbone to learn node representations from the generated token sequences. Moreover, SwapGT develops a center alignment loss to constrain the representation learning from multiple token sequences, further enhancing the model performance. Extensive empirical results on various datasets showcase the superiority of SwapGT for node classification.
• Abstract（参考訳）: ノードトークン化グラフ変換器(GT)はノード分類において有望な性能を示している。 トークンシーケンスの生成は、入力グラフをトークンシーケンスに変換する既存のトークン化GTのキーモジュールであり、Transformerによるノード表現学習を容易にする。 本稿では,既存のGTにおけるトークンシーケンスの世代は,構築された類似性グラフにのみ注目するものであり,多様なトークンシーケンスを生成するノードの利用が制限され,さらにノード分類におけるトークン化GTの可能性も制限されていることを観察する。 そこで本研究では,SwapGTと呼ばれる新しい手法を提案する。 SwapGTはまず、トークンシーケンスの特徴に基づいた新しいトークンスワップ操作を導入し、ノードの意味的関連性を完全に活用して、より情報的なトークンシーケンスを生成する。 次に、SwapGTはTransformerベースのバックボーンを利用して、生成されたトークンシーケンスからノード表現を学習する。 さらに、SwapGTは、複数のトークンシーケンスからの表現学習を制約する中心アライメント損失を発生させ、モデル性能をさらに向上させる。 様々なデータセットに対する大規模な実験結果は、ノード分類におけるSwapGTの優位性を示している。

関連論文リスト

• Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers [14.123432611346674]
  我々はGCFormerと呼ばれる新しいグラフ変換器を提案し、最適なノード表現の学習にグラフ情報を利用する。 GCFormerはハイブリッドトークンジェネレータを開発し、正と負の2種類のトークンシーケンスを生成し、多様なグラフ情報をキャプチャする。 これらの生成されたトークンシーケンスから意味のあるノード表現を学習するために、カスタマイズされたTransformerベースのバックボーンが採用されている。
  論文  参考訳（メタデータ） (2024-06-27T15:29:47Z)
• NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification [11.451341325579188]
  我々はNTFormerと呼ばれる新しいグラフ変換器を提案し,ノード分類問題に対処する。 Node2Parと呼ばれる新しいトークンジェネレータは、各ノードごとに異なるトークン要素を使用してさまざまなトークンシーケンスを生成する。 様々なベンチマークデータセットで行った実験は、ノード分類のための代表グラフ変換器やグラフニューラルネットワークよりもNTFormerの方が優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-27T15:16:00Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• GraphViz2Vec: A Structure-aware Feature Generation Model to Improve Classification in GNNs [2.0823678201707034]
  GNNはノード分類やリンク予測など,さまざまなタスクの解決に広く利用されている。 本稿では,ノードの近傍構造情報を抽出する特徴抽出手法GraphViz2Vecを提案する。 これらの初期埋め込みは、様々な分類タスクにおいて、既存のモデルが最先端の結果を達成するのに役立つ。
  論文  参考訳（メタデータ） (2024-01-30T17:11:04Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
  Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
  論文  参考訳（メタデータ） (2023-05-12T14:35:42Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• Gransformer: Transformer-based Graph Generation [14.161975556325796]
  Gransformerは、グラフを生成するためのTransformerに基づくアルゴリズムである。 我々は、与えられたグラフの構造情報を利用するためにTransformerエンコーダを変更する。 また、ノードペア間のグラフベースの親しみ度尺度も導入する。
  論文  参考訳（メタデータ） (2022-03-25T14:05:12Z)
• A Variational Edge Partition Model for Supervised Graph Representation Learning [51.30365677476971]
  本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。 それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。 エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:37:50Z)
• Graph Inference Learning for Semi-supervised Classification [50.55765399527556]
  半教師付きノード分類の性能を高めるためのグラフ推論学習フレームワークを提案する。 推論過程の学習には,トレーニングノードから検証ノードへの構造関係のメタ最適化を導入する。 4つのベンチマークデータセットの総合的な評価は、最先端の手法と比較して提案したGILの優位性を示している。
  論文  参考訳（メタデータ） (2020-01-17T02:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。