論文の概要: Generalized Graph Prompt: Toward a Unification of Pre-Training and Downstream Tasks on Graphs
- arxiv url: http://arxiv.org/abs/2311.15317v5
- Date: Mon, 26 Aug 2024 10:12:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 00:46:25.359259
- Title: Generalized Graph Prompt: Toward a Unification of Pre-Training and Downstream Tasks on Graphs
- Title（参考訳）: 一般化グラフプロンプト:グラフ上の事前学習タスクと下流タスクの統合を目指して
- Authors: Xingtong Yu, Zhenghao Liu, Yuan Fang, Zemin Liu, Sihong Chen, Xinming Zhang,
- Abstract要約: GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。
トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。
また、学習可能なプロンプトを使用して、トレーニング済みモデルから最も関連性の高い知識を見つけるために、下流タスクを支援する。
- 参考スコア（独自算出の注目度）: 20.406549548630156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks have emerged as a powerful tool for graph representation learning, but their performance heavily relies on abundant task-specific supervision. To reduce labeling requirement, the "pre-train, prompt" paradigms have become increasingly common. However, existing study of prompting on graphs is limited, lacking a universal treatment to appeal to different downstream tasks. In this paper, we propose GraphPrompt, a novel pre-training and prompting framework on graphs. GraphPrompt not only unifies pre-training and downstream tasks into a common task template but also employs a learnable prompt to assist a downstream task in locating the most relevant knowledge from the pre-trained model in a task-specific manner. To further enhance GraphPrompt in these two stages, we extend it into GraphPrompt+ with two major enhancements. First, we generalize several popular graph pre-training tasks beyond simple link prediction to broaden the compatibility with our task template. Second, we propose a more generalized prompt design that incorporates a series of prompt vectors within every layer of the pre-trained graph encoder, in order to capitalize on the hierarchical information across different layers beyond just the readout layer. Finally, we conduct extensive experiments on five public datasets to evaluate and analyze GraphPrompt and GraphPrompt+.
- Abstract（参考訳）: グラフニューラルネットワークはグラフ表現学習の強力なツールとして登場したが、そのパフォーマンスはタスク固有の豊富な監視に大きく依存している。
ラベル付け要求を減らすため、"pre-train, prompt"パラダイムはますます一般的になっている。
しかし、グラフのプロンプトに関する既存の研究は限定的であり、下流の様々なタスクにアピールするための普遍的な処理が欠如している。
本稿では,グラフの事前学習と促進のための新しいフレームワークであるGraphPromptを提案する。
GraphPromptは、トレーニング済みタスクとダウンストリームタスクを共通のタスクテンプレートに統合するだけでなく、学習可能なプロンプトを使用して、トレーニング済みモデルからタスク固有の方法で最も関連性の高い知識を見つける。
この2つのステージでGraphPromptをさらに強化するために、GraphPrompt+に2つの大きな拡張を加えて拡張します。
まず、単純なリンク予測以上のグラフ事前学習タスクを一般化し、タスクテンプレートとの互換性を広げる。
次に,事前学習したグラフエンコーダの各層に一連のプロンプトベクトルを組み込んだ,より一般化されたプロンプト設計を提案する。
最後に、GraphPromptとGraphPrompt+を評価し分析するために、5つの公開データセットに関する広範な実験を行う。
関連論文リスト
- G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳（メタデータ） (2024-02-12T13:13:04Z) - MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs [33.2696184519275]
MultiGPromptは、グラフ表現学習のための新しいマルチタスク事前学習およびプロンプトフレームワークである。
本稿では,タスク固有の知識とグローバルな事前学習知識を活用するために,構成されたプロンプトとオープンプロンプトからなるデュアルプロンプト機構を提案する。
論文 参考訳（メタデータ） (2023-11-28T02:36:53Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳（メタデータ） (2023-09-18T20:12:17Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。
まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。
次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
論文 参考訳（メタデータ） (2023-07-04T06:27:31Z) - A Survey of Graph Prompting Methods: Techniques, Applications, and
Challenges [25.32529044997131]
ラベル付きデータに制限のある一般化可能なモデルを学習する手段として,「事前訓練,プロンプト,予測訓練」が人気を集めている。
複雑なタスクにおいて、プロンプトの設計は困難で時間を要するプロセスになり得る。
この調査は、将来の方法論開発を促進するために、グラフと設計の間のギャップを埋める。
論文 参考訳（メタデータ） (2023-03-13T16:49:43Z) - GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural
Networks [16.455234748896157]
GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。
トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。
また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
論文 参考訳（メタデータ） (2023-02-16T02:51:38Z) - Graph Pooling for Graph Neural Networks: Progress, Challenges, and
Opportunities [128.55790219377315]
グラフニューラルネットワークは多くのグラフレベルのタスクの主要なアーキテクチャとして登場した。
グラフプーリングは、グラフ全体の全体的グラフレベル表現を得るためには不可欠である。
論文 参考訳（メタデータ） (2022-04-15T04:02:06Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。