論文の概要: Enhancing Graph Neural Networks with Structure-Based Prompt
- arxiv url: http://arxiv.org/abs/2310.17394v1
- Date: Thu, 26 Oct 2023 13:46:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 20:20:24.812930
- Title: Enhancing Graph Neural Networks with Structure-Based Prompt
- Title(参考訳): 構造ベースプロンプトによるグラフニューラルネットワークの強化
- Authors: Qingqing Ge, Zeyuan Zhao, Yiding Liu, Anfeng Cheng, Xiang Li,
Shuaiqiang Wang and Dawei Yin
- Abstract要約: グラフニューラルネットワーク(GNN)は、グラフデータのセマンティクスを学習する上で強力である。
新しいパラダイム"pre-train, prompt"は、教師付きデータが少ないさまざまなタスクにGNNを適用するという有望な結果を示している。
本稿では,GNNの事前学習と即時チューニングの両段階における構造情報を一貫して活用する新しい構造ベースプロンプト手法,すなわちSAPを提案する。
- 参考スコア(独自算出の注目度): 25.926882443332822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph Neural Networks (GNNs) are powerful in learning semantics of graph
data. Recently, a new paradigm "pre-train, prompt" has shown promising results
in adapting GNNs to various tasks with less supervised data. The success of
such paradigm can be attributed to the more consistent objectives of
pre-training and task-oriented prompt tuning, where the pre-trained knowledge
can be effectively transferred to downstream tasks. However, an overlooked
issue of existing studies is that the structure information of graph is usually
exploited during pre-training for learning node representations, while
neglected in the prompt tuning stage for learning task-specific parameters. To
bridge this gap, we propose a novel structure-based prompting method for GNNs,
namely SAP, which consistently exploits structure information in both
pre-training and prompt tuning stages. In particular, SAP 1) employs a
dual-view contrastive learning to align the latent semantic spaces of node
attributes and graph structure, and 2) incorporates structure information in
prompted graph to elicit more pre-trained knowledge in prompt tuning. We
conduct extensive experiments on node classification and graph classification
tasks to show the effectiveness of SAP. Moreover, we show that SAP can lead to
better performance in more challenging few-shot scenarios on both homophilous
and heterophilous graphs.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、グラフデータのセマンティクスの学習において強力である。
近年,新しいパラダイムであるpre-train, promptは,教師付きデータが少ない様々なタスクにGNNを適用するという有望な結果を示している。
このようなパラダイムの成功は、事前トレーニングとタスク指向のプロンプトチューニングという、より一貫した目標によって引き起こされる可能性がある。
しかし,既存の研究で見過ごされている問題は,ノード表現学習の事前学習においてグラフの構造情報が活用されるのに対して,タスク固有パラメータ学習の即時チューニング段階では無視される点である。
このギャップを埋めるために,本研究では,事前学習と即興チューニングの両段階において,構造情報を一貫して活用する新しい構造ベースプロンピング手法であるsapを提案する。
特にSAP
1)ノード属性とグラフ構造の潜在意味空間を調整するために,デュアルビューのコントラスト学習を用いる。
2)プロンプトグラフに構造情報を組み込んで,事前学習した知識の迅速なチューニングを実現する。
SAPの有効性を示すために,ノード分類とグラフ分類タスクについて広範な実験を行った。
さらに,ホモフィラスグラフとヘテロフィラスグラフの両方において,より難易度の高い数発シナリオにおいて,sapのパフォーマンスが向上することを示す。
関連論文リスト
- HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained
Heterogeneous Graph Neural Networks [24.435068514392487]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。
半教師付きノード分類における最先端HGNNの性能を向上させる。
論文 参考訳(メタデータ) (2023-10-23T19:35:57Z) - ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。
また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-23T12:11:13Z) - GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural
Networks [16.455234748896157]
GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。
トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。
また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
論文 参考訳(メタデータ) (2023-02-16T02:51:38Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳(メタデータ) (2022-01-17T11:57:29Z) - Graph-Based Neural Network Models with Multiple Self-Supervised
Auxiliary Tasks [79.28094304325116]
グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。
マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
論文 参考訳(メタデータ) (2020-11-14T11:09:51Z) - Graph Information Bottleneck [77.21967740646784]
グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。
GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。
提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:13:00Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-06-17T16:18:35Z) - Self-supervised Training of Graph Convolutional Networks [39.80867112204255]
グラフ畳み込みネットワーク(GCN)は、非グリッドデータの解析に成功している。
本稿では,入力グラフ構造データ自体から利用可能な情報を活用するための2種類の自己教師型学習戦略を提案する。
論文 参考訳(メタデータ) (2020-06-03T16:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。