論文の概要: NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification

• arxiv url: http://arxiv.org/abs/2406.19249v1
• Date: Thu, 27 Jun 2024 15:16:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 13:48:33.161653
• Title: NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification
• Title（参考訳）: NTFormer: ノード分類のための複合ノードトークン化グラフ変換器
• Authors: Jinsong Chen, Siyu Jiang, Kun He,
• Abstract要約: 我々はNTFormerと呼ばれる新しいグラフ変換器を提案し,ノード分類問題に対処する。 Node2Parと呼ばれる新しいトークンジェネレータは、各ノードごとに異なるトークン要素を使用してさまざまなトークンシーケンスを生成する。 様々なベンチマークデータセットで行った実験は、ノード分類のための代表グラフ変換器やグラフニューラルネットワークよりもNTFormerの方が優れていることを示した。
• 参考スコア（独自算出の注目度）: 11.451341325579188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the emerging graph Transformers have made significant advancements for node classification on graphs. In most graph Transformers, a crucial step involves transforming the input graph into token sequences as the model input, enabling Transformer to effectively learn the node representations. However, we observe that existing methods only express partial graph information of nodes through single-type token generation. Consequently, they require tailored strategies to encode additional graph-specific features into the Transformer to ensure the quality of node representation learning, limiting the model flexibility to handle diverse graphs. To this end, we propose a new graph Transformer called NTFormer to address this issue. NTFormer introduces a novel token generator called Node2Par, which constructs various token sequences using different token elements for each node. This flexibility allows Node2Par to generate valuable token sequences from different perspectives, ensuring comprehensive expression of rich graph features. Benefiting from the merits of Node2Par, NTFormer only leverages a Transformer-based backbone without graph-specific modifications to learn node representations, eliminating the need for graph-specific modifications. Extensive experiments conducted on various benchmark datasets containing homophily and heterophily graphs with different scales demonstrate the superiority of NTFormer over representative graph Transformers and graph neural networks for node classification.
• Abstract（参考訳）: 近年,新たなグラフ変換器がグラフ上のノード分類に大きく進歩している。 ほとんどのグラフトランスフォーマーでは、入力グラフをモデル入力としてトークンシーケンスに変換するため、Transformerはノード表現を効果的に学習することができる。 しかし,既存の手法は単一型トークン生成によるノードの部分グラフ情報のみを表現している。 その結果、ノード表現学習の品質を確保するために、Transformerにグラフ固有の機能をエンコードする適切な戦略が必要となり、多様なグラフを扱うためのモデルの柔軟性が制限される。 そこで我々はNTFormerと呼ばれる新しいグラフ変換器を提案し,この問題に対処する。 NTFormerはNode2Parと呼ばれる新しいトークンジェネレータを導入している。 この柔軟性により、Node2Parはさまざまな観点から価値あるトークンシーケンスを生成し、リッチグラフ機能の包括的な表現を保証することができる。 Node2Parの利点を活かして、NTFormerはTransformerベースのバックボーンをグラフ固有の変更なしでノード表現を学習し、グラフ固有の修正を不要にしている。 異なるスケールのホモフィリーグラフとヘテロフィリーグラフを含む様々なベンチマークデータセット上で行われた大規模な実験は、代表グラフ変換器とノード分類のためのグラフニューラルネットワークよりもNTFormerの方が優れていることを示す。

関連論文リスト

• Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers [14.123432611346674]
  我々はGCFormerと呼ばれる新しいグラフ変換器を提案し、最適なノード表現の学習にグラフ情報を利用する。 GCFormerはハイブリッドトークンジェネレータを開発し、正と負の2種類のトークンシーケンスを生成し、多様なグラフ情報をキャプチャする。 これらの生成されたトークンシーケンスから意味のあるノード表現を学習するために、カスタマイズされたTransformerベースのバックボーンが採用されている。
  論文  参考訳（メタデータ） (2024-06-27T15:29:47Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
  Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
  論文  参考訳（メタデータ） (2023-05-12T14:35:42Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• NAGphormer: Neighborhood Aggregation Graph Transformer for Node Classification in Large Graphs [10.149586598073421]
  本研究では,数百万のノードを持つ大規模グラフに対してスケーラブルなNAGphormer(Neighborhood Aggregation Graph Transformer)を提案する。 NAGphormerはHop2Tokenと呼ばれる近隣アグリゲーションモジュールによって各ノードのトークンを構成する。 6つの小さなデータセットと3つの大きなデータセットを含む、さまざまな人気のあるベンチマークで広範な実験を行います。
  論文  参考訳（メタデータ） (2022-06-10T07:23:51Z)
• Modeling Graph Structure via Relative Position for Text Generation from Knowledge Graphs [54.176285420428776]
  グラフ-テキスト生成のための新しいトランスフォーマーベースのエンコーダデコーダアーキテクチャであるGraformerを提案する。 新たなグラフの自己アテンションでは、ノードのエンコーディングは入力グラフのすべてのノードに依存します。 グレーフォーマーは、これらのノード-ノードの関係を異なるアテンションヘッドに対して異なる重み付けを学習し、入力グラフの異なる連結ビューを仮想的に学習する。
  論文  参考訳（メタデータ） (2020-06-16T15:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。