論文の概要: ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt

• arxiv url: http://arxiv.org/abs/2310.14845v2
• Date: Sun, 17 Dec 2023 08:16:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 20:00:11.475262
• Title: ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt
• Title（参考訳）: ULTRA-DP:マルチタスクグラフデュアルプロンプトによるグラフ事前学習の統合
• Authors: Mouxiang Chen, Zemin Liu, Chenghao Liu, Jundong Li, Qiheng Mao, Jianling Sun
• Abstract要約: 本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 67.8934749027315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research has demonstrated the efficacy of pre-training graph neural networks (GNNs) to capture the transferable graph semantics and enhance the performance of various downstream tasks. However, the semantic knowledge learned from pretext tasks might be unrelated to the downstream task, leading to a semantic gap that limits the application of graph pre-training. To reduce this gap, traditional approaches propose hybrid pre-training to combine various pretext tasks together in a multi-task learning fashion and learn multi-grained knowledge, which, however, cannot distinguish tasks and results in some transferable task-specific knowledge distortion by each other. Moreover, most GNNs cannot distinguish nodes located in different parts of the graph, making them fail to learn position-specific knowledge and lead to suboptimal performance. In this work, inspired by the prompt-based tuning in natural language processing, we propose a unified framework for graph hybrid pre-training which injects the task identification and position identification into GNNs through a prompt mechanism, namely multi-task graph dual prompt (ULTRA-DP). Based on this framework, we propose a prompt-based transferability test to find the most relevant pretext task in order to reduce the semantic gap. To implement the hybrid pre-training tasks, beyond the classical edge prediction task (node-node level), we further propose a novel pre-training paradigm based on a group of $k$-nearest neighbors (node-group level). The combination of them across different scales is able to comprehensively express more structural semantics and derive richer multi-grained knowledge. Extensive experiments show that our proposed ULTRA-DP can significantly enhance the performance of hybrid pre-training methods and show the generalizability to other pre-training tasks and backbone architectures.
• Abstract（参考訳）: 近年,gnn(pre-training graph neural network)がトランスファー可能なグラフセマンティクスをキャプチャし,ダウンストリームタスクの性能を向上させる効果が実証されている。 しかし、プレテキストタスクから学んだセマンティック知識は下流タスクとは無関係であり、グラフ事前学習の適用を制限するセマンティックギャップにつながる。 このギャップを軽減するために、従来のアプローチでは、様々なプリテキストタスクをマルチタスク学習の方法で結合し、複数の粒度の知識を学習するハイブリッド事前学習を提案しているが、タスクを区別することはできず、タスク固有の知識歪みを相互に伝達させることができる。 さらに、ほとんどのGNNはグラフの異なる部分に位置するノードを区別できないため、位置特化知識を習得できず、最適以下のパフォーマンスをもたらす。 本稿では,自然言語処理におけるプロンプトベースのチューニングに着想を得て,マルチタスクグラフ二重プロンプト(ULTRA-DP)を介し,タスク識別と位置識別をGNNに注入するグラフハイブリッド事前学習フレームワークを提案する。 このフレームワークに基づいて, 意味的ギャップを減らすために, もっとも適切なプリテキストタスクを見つけるための, プロンプトベースの転送可能性テストを提案する。 従来のエッジ予測タスク(ノード-ノードレベル)を超えて,ハイブリッド事前学習タスクを実現するために,さらに,$k$-nearest近傍(ノード-グループレベル)のグループに基づく新しい事前学習パラダイムを提案する。 異なるスケールで組み合わせることで、より構造的な意味論を包括的に表現し、よりリッチな多義的な知識を導き出すことができる。 広汎な実験により,提案したULTRA-DPは,ハイブリッドプレトレーニング手法の性能を大幅に向上し,他の事前トレーニングタスクやバックボーンアーキテクチャへの一般化可能性を示す。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• MultiGPrompt for Multi-Task Pre-Training and Prompting on Graphs [33.2696184519275]
  MultiGPromptは、グラフ表現学習のための新しいマルチタスク事前学習およびプロンプトフレームワークである。 本稿では,タスク固有の知識とグローバルな事前学習知識を活用するために,構成されたプロンプトとオープンプロンプトからなるデュアルプロンプト機構を提案する。
  論文  参考訳（メタデータ） (2023-11-28T02:36:53Z)
• HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
  HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。 半教師付きノード分類における最先端HGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T19:35:57Z)
• All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
  本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
  論文  参考訳（メタデータ） (2023-07-04T06:27:31Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks [16.455234748896157]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
  論文  参考訳（メタデータ） (2023-02-16T02:51:38Z)
• Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization [40.265515914447924]
  近年,グラフニューラルネットワーク(GNN)のための自己教師付き学習(SSL)が機械学習コミュニティから注目を集めている。 GNNの従来のSSLフレームワークの弱点の1つは、単一の哲学から学ぶことである。
  論文  参考訳（メタデータ） (2022-10-05T04:09:38Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。