論文の概要: All in One: Multi-task Prompting for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2307.01504v1
• Date: Tue, 4 Jul 2023 06:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 18:08:43.305408
• Title: All in One: Multi-task Prompting for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのためのマルチタスクプロンプト
• Authors: Xiangguo Sun, Hong Cheng, Jia Li, Bo Liu, Jihong Guan
• Abstract要約: 本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
• 参考スコア（独自算出の注目度）: 29.08967302557283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, ''pre-training and fine-tuning'' has been adopted as a standard workflow for many graph tasks since it can take general graph knowledge to relieve the lack of graph annotations from each application. However, graph tasks with node level, edge level, and graph level are far diversified, making the pre-training pretext often incompatible with these multiple tasks. This gap may even cause a ''negative transfer'' to the specific application, leading to poor results. Inspired by the prompt learning in natural language processing (NLP), which has presented significant effectiveness in leveraging prior knowledge for various NLP tasks, we study the prompting topic for graphs with the motivation of filling the gap between pre-trained models and various graph tasks. In this paper, we propose a novel multi-task prompting method for graph models. Specifically, we first unify the format of graph prompts and language prompts with the prompt token, token structure, and inserting pattern. In this way, the prompting idea from NLP can be seamlessly introduced to the graph area. Then, to further narrow the gap between various graph tasks and state-of-the-art pre-training strategies, we further study the task space of various graph applications and reformulate downstream problems to the graph-level task. Afterward, we introduce meta-learning to efficiently learn a better initialization for the multi-task prompt of graphs so that our prompting framework can be more reliable and general for different tasks. We conduct extensive experiments, results from which demonstrate the superiority of our method.
• Abstract（参考訳）: 近年、「事前学習と微調整」は、各アプリケーションからのグラフアノテーションの欠如を緩和するために一般的なグラフ知識を活用できるため、多くのグラフタスクの標準ワークフローとして採用されている。 しかし、ノードレベル、エッジレベル、グラフレベルのグラフタスクは、はるかに多様化しており、事前トレーニングされたプリテキストは、これらの複数のタスクと互換性がないことが多い。 このギャップは、特定のアプリケーションに対して'負の転送'を引き起こす可能性があり、その結果は乏しい。 自然言語処理(NLP)の素早い学習にインスパイアされ,様々なNLPタスクに事前知識を活用する上で,事前学習されたモデルと各種グラフタスクのギャップを埋める動機付けとして,グラフの素早いトピックについて検討した。 本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 具体的には、最初にグラフプロンプトと言語プロンプトのフォーマットをプロンプトトークン、トークン構造、挿入パターンで統一しました。 このようにして、NLPからのプロンプトアイデアをグラフ領域にシームレスに導入することができる。 次に,グラフ処理と最先端事前学習戦略のギャップをさらに狭めるため,様々なグラフアプリケーションのタスク空間をさらに調査し,ダウンストリーム問題をグラフレベルのタスクに再構成する。 その後、我々はメタラーニングを導入し、グラフのマルチタスクプロンプトのより優れた初期化を効果的に学習し、異なるタスクに対してより信頼性と一般的なプロンプトフレームワークを実現する。 我々は広範囲な実験を行い、その結果、本手法の優位性を実証した。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• ProG: A Graph Prompt Learning Benchmark [17.229372585695092]
  グラフプロンプト学習が「プレトレイン・ファインチューン」に代わる有望な選択肢として登場 グラフプロンプト学習のための総合ベンチマークを初めて導入する。 本稿では,さまざまなグラフプロンプトモデルの実行を合理化する,使いやすいオープンソースライブラリである'ProG'を紹介する。
  論文  参考訳（メタデータ） (2024-06-08T04:17:48Z)
• All in One: Multi-Task Prompting for Graph Neural Networks (Extended Abstract) [30.457491401821652]
  本論文は,KDD23で発表された論文の要約であり,研究論文賞を受賞した。 これは、事前訓練されたグラフモデルと適用されるさまざまなタスクの間のギャップを埋める新しいアプローチを導入します。
  論文  参考訳（メタデータ） (2024-03-11T16:04:58Z)
• Generalized Graph Prompt: Toward a Unification of Pre-Training and Downstream Tasks on Graphs [20.406549548630156]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、学習可能なプロンプトを使用して、トレーニング済みモデルから最も関連性の高い知識を見つけるために、下流タスクを支援する。
  論文  参考訳（メタデータ） (2023-11-26T14:35:28Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks [16.455234748896157]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
  論文  参考訳（メタデータ） (2023-02-16T02:51:38Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。