論文の概要: Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers

• arxiv url: http://arxiv.org/abs/2406.19258v1
• Date: Thu, 27 Jun 2024 15:29:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 13:38:31.432264
• Title: Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers
• Title（参考訳）: トークン化グラフ変換器における高次ノード表現のためのコントラスト学習の活用
• Authors: Jinsong Chen, Hanpeng Liu, John E. Hopcroft, Kun He,
• Abstract要約: 我々はGCFormerと呼ばれる新しいグラフ変換器を提案し、最適なノード表現の学習にグラフ情報を利用する。 GCFormerはハイブリッドトークンジェネレータを開発し、正と負の2種類のトークンシーケンスを生成し、多様なグラフ情報をキャプチャする。 これらの生成されたトークンシーケンスから意味のあるノード表現を学習するために、カスタマイズされたTransformerベースのバックボーンが採用されている。
• 参考スコア（独自算出の注目度）: 14.123432611346674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While tokenized graph Transformers have demonstrated strong performance in node classification tasks, their reliance on a limited subset of nodes with high similarity scores for constructing token sequences overlooks valuable information from other nodes, hindering their ability to fully harness graph information for learning optimal node representations. To address this limitation, we propose a novel graph Transformer called GCFormer. Unlike previous approaches, GCFormer develops a hybrid token generator to create two types of token sequences, positive and negative, to capture diverse graph information. And a tailored Transformer-based backbone is adopted to learn meaningful node representations from these generated token sequences. Additionally, GCFormer introduces contrastive learning to extract valuable information from both positive and negative token sequences, enhancing the quality of learned node representations. Extensive experimental results across various datasets, including homophily and heterophily graphs, demonstrate the superiority of GCFormer in node classification, when compared to representative graph neural networks (GNNs) and graph Transformers.
• Abstract（参考訳）: トークン化されたグラフ変換器はノード分類タスクにおいて高いパフォーマンスを示しているが、トークンシーケンスを構築するために高い類似度スコアを持つノードの限られたサブセットに依存しているため、他のノードからの貴重な情報を見落とし、最適なノード表現を学習するためのグラフ情報を完全に活用する能力を妨げる。 この制限に対処するため,GCFormerと呼ばれる新しいグラフ変換器を提案する。 従来のアプローチとは異なり、GCFormerは、さまざまなグラフ情報をキャプチャする2種類のトークンシーケンスを生成するために、ハイブリッドトークンジェネレータを開発している。 また,これら生成されたトークンシーケンスから意味のあるノード表現を学習するために,トランスフォーマーベースのバックボーンが採用されている。 さらに、GCFormerは、正と負の両方のトークンシーケンスから貴重な情報を抽出するコントラスト学習を導入し、学習ノード表現の品質を高める。 ホモフィリーグラフやヘテロフィリーグラフなど,さまざまなデータセットにわたる大規模な実験結果は,グラフニューラルネットワーク(GNN)やグラフ変換器と比較して,ノード分類におけるGCFormerの優位性を示している。

関連論文リスト

• NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification [11.451341325579188]
  我々はNTFormerと呼ばれる新しいグラフ変換器を提案し,ノード分類問題に対処する。 Node2Parと呼ばれる新しいトークンジェネレータは、各ノードごとに異なるトークン要素を使用してさまざまなトークンシーケンスを生成する。 様々なベンチマークデータセットで行った実験は、ノード分類のための代表グラフ変換器やグラフニューラルネットワークよりもNTFormerの方が優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-27T15:16:00Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
  Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
  論文  参考訳（メタデータ） (2023-05-12T14:35:42Z)
• Graph Convolutional Neural Networks with Diverse Negative Samples via Decomposed Determinant Point Processes [21.792376993468064]
  グラフ畳み込みネットワーク(GCN)はグラフ表現学習において大きな成功を収めている。 本稿では, 様々な負のサンプルを得るために, 品質多様性の分解を決定点過程に用いた。 本稿では,計算効率を向上させるための最短パスベース手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T06:31:31Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• Gransformer: Transformer-based Graph Generation [14.161975556325796]
  Gransformerは、グラフを生成するためのTransformerに基づくアルゴリズムである。 我々は、与えられたグラフの構造情報を利用するためにTransformerエンコーダを変更する。 また、ノードペア間のグラフベースの親しみ度尺度も導入する。
  論文  参考訳（メタデータ） (2022-03-25T14:05:12Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。