論文の概要: PSP: Pre-Training and Structure Prompt Tuning for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2310.17394v2
• Date: Sat, 1 Jun 2024 06:31:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:31:18.125539
• Title: PSP: Pre-Training and Structure Prompt Tuning for Graph Neural Networks
• Title（参考訳）: PSP: グラフニューラルネットワークのための事前トレーニングと構造プロンプトチューニング
• Authors: Qingqing Ge, Zeyuan Zhao, Yiding Liu, Anfeng Cheng, Xiang Li, Shuaiqiang Wang, Dawei Yin,
• Abstract要約: 事前学習とプロンプト」は、教師付きデータが少ない様々なタスクにグラフニューラルネットワークを適用するという有望な結果を示している。 本稿では,事前学習と即時チューニングの両段階における構造情報を一貫して活用するPSPを提案する。 PSPは、ホモフィルグラフとヘテロフィルグラフの両方において、数ショットのシナリオにおいて優れたパフォーマンスをもたらす。
• 参考スコア（独自算出の注目度）: 24.688842637377583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) are powerful in learning semantics of graph data. Recently, a new paradigm "pre-train and prompt" has shown promising results in adapting GNNs to various tasks with less supervised data. The success of such paradigm can be attributed to the more consistent objectives of pre-training and task-oriented prompt tuning, where the pre-trained knowledge can be effectively transferred to downstream tasks. Most existing methods are based on the class prototype vector framework. However, in the few-shot scenarios, given few labeled data, class prototype vectors are difficult to be accurately constructed or learned. Meanwhile, the structure information of graph is usually exploited during pre-training for learning node representations, while neglected in the prompt tuning stage for learning more accurate prototype vectors. In addition, they generally ignore the impact of heterophilous neighborhoods on node representation and are not suitable for heterophilous graphs. To bridge these gaps, we propose a novel pre-training and structure prompt tuning framework for GNNs, namely PSP, which consistently exploits structure information in both pre-training and prompt tuning stages. In particular, PSP 1) employs a dual-view contrastive learning to align the latent semantic spaces of node attributes and graph structure, and 2) incorporates structure information in prompted graph to construct more accurate prototype vectors and elicit more pre-trained knowledge in prompt tuning. We conduct extensive experiments on node classification and graph classification tasks to evaluate the effectiveness of PSP. We show that PSP can lead to superior performance in few-shot scenarios on both homophilous and heterophilous graphs. The implemented code is available at https://github.com/gqq1210/PSP.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータのセマンティクスを学習する上で強力である。 近年,新しいパラダイムであるpre-train and promptは,教師付きデータが少ない様々なタスクにGNNを適用するという有望な結果を示している。 このようなパラダイムの成功は、事前学習とタスク指向のプロンプトチューニングのより一貫した目的に起因し得る。 既存のほとんどのメソッドは、クラスプロトタイプベクターフレームワークに基づいている。 しかし、ラベル付きデータが少ない数ショットのシナリオでは、クラスプロトタイプベクターを正確に構築したり、学習することは困難である。 一方、グラフの構造情報はノード表現を学習するための事前学習中に通常活用されるが、より正確なプロトタイプベクトルを学習するための迅速なチューニング段階では無視される。 さらに、一般に、ノード表現に対する異種近傍の影響を無視し、異種グラフには適さない。 これらのギャップを埋めるために、我々はGNNのための新しい事前学習および構造的プロンプトチューニングフレームワーク、すなわちPSPを提案する。 特にPSP 1) ノード属性とグラフ構造の潜在意味空間を整列させるために, 二重視点のコントラスト学習を用いる。 2) プロンプトグラフに構造情報を組み込んで、より正確なプロトタイプベクトルを構築し、プロンプトチューニングにおいてより訓練済みの知識を引き出す。 PSPの有効性を評価するために,ノード分類とグラフ分類タスクについて広範な実験を行った。 PSPは、ホモフィルグラフとヘテロフィルグラフの両方において、数ショットのシナリオにおいて優れた性能を示す。 実装されたコードはhttps://github.com/gqq1210/PSPで入手できる。

関連論文リスト

• Reliable and Compact Graph Fine-tuning via GraphSparse Prompting [24.381392096420402]
  グラフプロンプトおよびグラフスパースプロンプト(GSP)におけるスパース表現理論の活用を提案する。 GSPは、下流タスクのコンパクトなプロンプトを達成するために最適な要素を適応的かつ簡潔に選択することを目的としている。 GSFP と GSmFP モデルを解くために、単純で効果的なアルゴリズムが設計された。
  論文  参考訳（メタデータ） (2024-10-29T05:31:14Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
  HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。 半教師付きノード分類における最先端HGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T19:35:57Z)
• Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
  Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。 非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
  論文  参考訳（メタデータ） (2023-10-16T12:58:04Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。