論文の概要: Enhancing Graph Neural Networks with Structure-Based Prompt

• arxiv url: http://arxiv.org/abs/2310.17394v1
• Date: Thu, 26 Oct 2023 13:46:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 20:20:24.812930
• Title: Enhancing Graph Neural Networks with Structure-Based Prompt
• Title（参考訳）: 構造ベースプロンプトによるグラフニューラルネットワークの強化
• Authors: Qingqing Ge, Zeyuan Zhao, Yiding Liu, Anfeng Cheng, Xiang Li, Shuaiqiang Wang and Dawei Yin
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータのセマンティクスを学習する上で強力である。 新しいパラダイム"pre-train, prompt"は、教師付きデータが少ないさまざまなタスクにGNNを適用するという有望な結果を示している。 本稿では,GNNの事前学習と即時チューニングの両段階における構造情報を一貫して活用する新しい構造ベースプロンプト手法,すなわちSAPを提案する。
• 参考スコア（独自算出の注目度）: 25.926882443332822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) are powerful in learning semantics of graph data. Recently, a new paradigm "pre-train, prompt" has shown promising results in adapting GNNs to various tasks with less supervised data. The success of such paradigm can be attributed to the more consistent objectives of pre-training and task-oriented prompt tuning, where the pre-trained knowledge can be effectively transferred to downstream tasks. However, an overlooked issue of existing studies is that the structure information of graph is usually exploited during pre-training for learning node representations, while neglected in the prompt tuning stage for learning task-specific parameters. To bridge this gap, we propose a novel structure-based prompting method for GNNs, namely SAP, which consistently exploits structure information in both pre-training and prompt tuning stages. In particular, SAP 1) employs a dual-view contrastive learning to align the latent semantic spaces of node attributes and graph structure, and 2) incorporates structure information in prompted graph to elicit more pre-trained knowledge in prompt tuning. We conduct extensive experiments on node classification and graph classification tasks to show the effectiveness of SAP. Moreover, we show that SAP can lead to better performance in more challenging few-shot scenarios on both homophilous and heterophilous graphs.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフデータのセマンティクスの学習において強力である。 近年,新しいパラダイムであるpre-train, promptは,教師付きデータが少ない様々なタスクにGNNを適用するという有望な結果を示している。 このようなパラダイムの成功は、事前トレーニングとタスク指向のプロンプトチューニングという、より一貫した目標によって引き起こされる可能性がある。 しかし,既存の研究で見過ごされている問題は,ノード表現学習の事前学習においてグラフの構造情報が活用されるのに対して,タスク固有パラメータ学習の即時チューニング段階では無視される点である。 このギャップを埋めるために,本研究では,事前学習と即興チューニングの両段階において,構造情報を一貫して活用する新しい構造ベースプロンピング手法であるsapを提案する。 特にSAP 1)ノード属性とグラフ構造の潜在意味空間を調整するために,デュアルビューのコントラスト学習を用いる。 2)プロンプトグラフに構造情報を組み込んで,事前学習した知識の迅速なチューニングを実現する。 SAPの有効性を示すために,ノード分類とグラフ分類タスクについて広範な実験を行った。 さらに,ホモフィラスグラフとヘテロフィラスグラフの両方において,より難易度の高い数発シナリオにおいて,sapのパフォーマンスが向上することを示す。

関連論文リスト

• Reliable and Compact Graph Fine-tuning via GraphSparse Prompting [24.381392096420402]
  グラフプロンプトおよびグラフスパースプロンプト(GSP)におけるスパース表現理論の活用を提案する。 GSPは、下流タスクのコンパクトなプロンプトを達成するために最適な要素を適応的かつ簡潔に選択することを目的としている。 GSFP と GSmFP モデルを解くために、単純で効果的なアルゴリズムが設計された。
  論文  参考訳（メタデータ） (2024-10-29T05:31:14Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
  HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。 半教師付きノード分類における最先端HGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T19:35:57Z)
• Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
  Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。 非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
  論文  参考訳（メタデータ） (2023-10-16T12:58:04Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。