Fugu-MT 論文翻訳(概要): A Pure Transformer Pretraining Framework on Text-attributed Graphs

論文の概要: A Pure Transformer Pretraining Framework on Text-attributed Graphs

arxiv url: http://arxiv.org/abs/2406.13873v1
Date: Wed, 19 Jun 2024 22:30:08 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 18:06:06.776152
Title: A Pure Transformer Pretraining Framework on Text-attributed Graphs
Title（参考訳）: テキスト対応グラフによる純変圧器事前学習フレームワーク
Authors: Yu Song, Haitao Mao, Jiachen Xiao, Jingzhe Liu, Zhikai Chen, Wei Jin, Carl Yang, Jiliang Tang, Hui Liu,
Abstract要約: グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
参考スコア（独自算出の注目度）: 50.833130854272774
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pretraining plays a pivotal role in acquiring generalized knowledge from large-scale data, achieving remarkable successes as evidenced by large models in CV and NLP. However, progress in the graph domain remains limited due to fundamental challenges such as feature heterogeneity and structural heterogeneity. Recently, increasing efforts have been made to enhance node feature quality with Large Language Models (LLMs) on text-attributed graphs (TAGs), demonstrating superiority to traditional bag-of-words or word2vec techniques. These high-quality node features reduce the previously critical role of graph structure, resulting in a modest performance gap between Graph Neural Networks (GNNs) and structure-agnostic Multi-Layer Perceptrons (MLPs). Motivated by this, we introduce a feature-centric pretraining perspective by treating graph structure as a prior and leveraging the rich, unified feature space to learn refined interaction patterns that generalizes across graphs. Our framework, Graph Sequence Pretraining with Transformer (GSPT), samples node contexts through random walks and employs masked feature reconstruction to capture pairwise proximity in the LLM-unified feature space using a standard Transformer. By utilizing unified text representations rather than varying structures, our framework achieves significantly better transferability among graphs within the same domain. GSPT can be easily adapted to both node classification and link prediction, demonstrating promising empirical success on various datasets.
Abstract（参考訳）: プレトレーニングは、大規模データから一般化された知識を取得する上で重要な役割を担い、CVやNLPの大規模モデルによって証明されているように、顕著な成功を収めている。しかし、グラフ領域の進行は、特徴の不均一性や構造的不均一性といった根本的な問題のために制限されている。近年,Large Language Models (LLMs) をテキスト分散グラフ (TAGs) に適用し,従来のbaba-of-words や word2vec 技術よりも優れたノード特徴量向上に努めている。これらの高品質なノード機能は、グラフ構造において以前重要な役割を減らし、グラフニューラルネットワーク(GNN)と構造に依存しないマルチ層パーセプトロン(MLP)の中間的なパフォーマンスギャップをもたらす。グラフ構造を先行として扱うことで特徴中心の事前学習の視点を導入し、リッチで統一された特徴空間を活用して、グラフをまたいで一般化する洗練された相互作用パターンを学習する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)は、ランダムウォークを通してノードコンテキストをサンプリングし、マスク付き特徴再構成を用いて、標準変換器を用いてLLM統一特徴空間の対角距離をキャプチャする。異なる構造ではなく統一されたテキスト表現を利用することで、同じドメイン内のグラフ間の転送可能性を大幅に向上する。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。

関連論文リスト

Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文参考訳（メタデータ） (2024-09-09T12:56:02Z)
Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks [2.7523980737007414]
高次グラフ(HDG)上のグラフニューラルネットワーク(GNN)のための効率的かつ効果的なフロントマウントデータ拡張フレームワークであるTADを提案する。内部では、(i)構造埋め込みによる機能拡張と(ii)トポロジと属性対応グラフのスパース化という、2つの重要なモジュールが含まれている。 TADAは、ノード分類の観点から8つの実ホモ親和性/ヘテロ親和性HDG上でのメインストリームGNNモデルの予測性能を大幅に改善する。
論文参考訳（メタデータ） (2024-06-08T14:14:19Z)
Unleashing the Potential of Text-attributed Graphs: Automatic Relation Decomposition via Large Language Models [31.443478448031886]
RoSE (Relation-oriented Semantic Edge-Decomposition) は、生のテキスト属性を分析してグラフ構造を分解する新しいフレームワークである。我々のフレームワークは、さまざまなデータセットのノード分類性能を大幅に向上させ、ウィスコンシンデータセットでは最大16%の改善を実現した。
論文参考訳（メタデータ） (2024-05-28T20:54:47Z)
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations [62.04558318166396]
グラフニューラルネットワーク(GNN)は、複雑な構造を持つグラフ上での表現学習の堅牢性を示す。ノードのより包括的な埋め込み表現を得るために、Decoupled Graph Neural Networks (DGNN)と呼ばれる新しいGNNフレームワークが導入された。複数のグラフベンチマークデータセットを用いて、ノード分類タスクにおけるDGNNの優位性を検証した。
論文参考訳（メタデータ） (2024-01-28T06:43:13Z)
HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。半教師付きノード分類における最先端HGNNの性能を向上させる。
論文参考訳（メタデータ） (2023-10-23T19:35:57Z)
TouchUp-G: Improving Feature Representation through Graph-Centric Finetuning [37.318961625795204]
グラフニューラルネットワーク(GNN)は、多くのハイインパクトな実世界のグラフアプリケーションにおいて最先端のアプローチとなっている。機能豊富なグラフでは、PMを直接利用して機能を生成するのが一般的である。 PMから抽出されたノード特徴がグラフに依存しず、GNNがグラフ構造とノード特徴の間の潜在的な相関を十分に活用できないため、このプラクティスは準最適である。
論文参考訳（メタデータ） (2023-09-25T05:44:40Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文参考訳（メタデータ） (2022-06-29T00:23:25Z)
ACE-HGNN: Adaptive Curvature Exploration Hyperbolic Graph Neural Network [72.16255675586089]
本稿では、入力グラフと下流タスクに基づいて最適な曲率を適応的に学習する適応曲率探索ハイパーボリックグラフニューラルネットワークACE-HGNNを提案する。複数の実世界のグラフデータセットの実験は、競争性能と優れた一般化能力を備えたモデル品質において、顕著で一貫したパフォーマンス改善を示す。
論文参考訳（メタデータ） (2021-10-15T07:18:57Z)
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。