論文の概要: GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2302.08043v1
• Date: Thu, 16 Feb 2023 02:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 15:21:13.930470
• Title: GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks
• Title（参考訳）: GraphPrompt: グラフニューラルネットワークの事前トレーニングとダウンストリームタスクの統合
• Authors: Zemin Liu, Xingtong Yu, Yuan Fang, Xinming Zhang
• Abstract要約: GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
• 参考スコア（独自算出の注目度）: 16.455234748896157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graphs can model complex relationships between objects, enabling a myriad of Web applications such as online page/article classification and social recommendation. While graph neural networks(GNNs) have emerged as a powerful tool for graph representation learning, in an end-to-end supervised setting, their performance heavily rely on a large amount of task-specific supervision. To reduce labeling requirement, the "pre-train, fine-tune" and "pre-train, prompt" paradigms have become increasingly common. In particular, prompting is a popular alternative to fine-tuning in natural language processing, which is designed to narrow the gap between pre-training and downstream objectives in a task-specific manner. However, existing study of prompting on graphs is still limited, lacking a universal treatment to appeal to different downstream tasks. In this paper, we propose GraphPrompt, a novel pre-training and prompting framework on graphs. GraphPrompt not only unifies pre-training and downstream tasks into a common task template, but also employs a learnable prompt to assist a downstream task in locating the most relevant knowledge from the pre-train model in a task-specific manner. Finally, we conduct extensive experiments on five public datasets to evaluate and analyze GraphPrompt.
• Abstract（参考訳）: グラフはオブジェクト間の複雑な関係をモデル化することができ、オンラインページ/アーティクル分類やソーシャルレコメンデーションのような無数のWebアプリケーションを可能にする。 グラフニューラルネットワーク(GNN)はグラフ表現学習の強力なツールとして登場したが、エンドツーエンドの教師付き設定では、そのパフォーマンスはタスク固有の大量の監視に大きく依存している。 ラベル付けの要件を減らすために、"pre-train, fine-tune" と "pre-train, prompt" のパラダイムはますます一般的になっている。 特に、プロンプトは自然言語処理における微調整に代わる一般的な選択肢であり、タスク固有の方法で事前学習と下流目標の間のギャップを狭めるように設計されている。 しかし、グラフのプロンプトに関する既存の研究はまだ限られており、下流の様々なタスクにアピールするための普遍的な処理が欠如している。 本稿では,グラフの事前学習と促進のための新しいフレームワークであるGraphPromptを提案する。 graphpromptは、事前トレーニングとダウンストリームのタスクを共通のタスクテンプレートに統合するだけでなく、学習可能なプロンプトを使用して、タスク固有の方法で、事前トレーニングモデルから最も関連する知識を見つける。 最後に、GraphPromptの評価と分析を行うために、5つの公開データセットに関する広範な実験を行う。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs [33.2696184519275]
  MultiGPromptは、グラフ表現学習のための新しいマルチタスク事前学習およびプロンプトフレームワークである。 本稿では,タスク固有の知識とグローバルな事前学習知識を活用するために,構成されたプロンプトとオープンプロンプトからなるデュアルプロンプト機構を提案する。
  論文  参考訳（メタデータ） (2023-11-28T02:36:53Z)
• Generalized Graph Prompt: Toward a Unification of Pre-Training and Downstream Tasks on Graphs [20.406549548630156]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、学習可能なプロンプトを使用して、トレーニング済みモデルから最も関連性の高い知識を見つけるために、下流タスクを支援する。
  論文  参考訳（メタデータ） (2023-11-26T14:35:28Z)
• HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
  HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。 半教師付きノード分類における最先端HGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T19:35:57Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
  本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
  論文  参考訳（メタデータ） (2023-07-04T06:27:31Z)
• A Survey of Graph Prompting Methods: Techniques, Applications, and Challenges [25.32529044997131]
  ラベル付きデータに制限のある一般化可能なモデルを学習する手段として,「事前訓練,プロンプト,予測訓練」が人気を集めている。 複雑なタスクにおいて、プロンプトの設計は困難で時間を要するプロセスになり得る。 この調査は、将来の方法論開発を促進するために、グラフと設計の間のギャップを埋める。
  論文  参考訳（メタデータ） (2023-03-13T16:49:43Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。