論文の概要: All in One: Multi-Task Prompting for Graph Neural Networks (Extended Abstract)

• arxiv url: http://arxiv.org/abs/2403.07040v1
• Date: Mon, 11 Mar 2024 16:04:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 00:02:17.633145
• Title: All in One: Multi-Task Prompting for Graph Neural Networks (Extended Abstract)
• Title（参考訳）: グラフニューラルネットワークのためのマルチタスクプロンプト(拡張抽象)
• Authors: Xiangguo Sun, Hong Cheng, Jia Li, Bo Liu, Jihong Guan
• Abstract要約: 本論文は,KDD23で発表された論文の要約であり,研究論文賞を受賞した。 これは、事前訓練されたグラフモデルと適用されるさまざまなタスクの間のギャップを埋める新しいアプローチを導入します。
• 参考スコア（独自算出の注目度）: 30.457491401821652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is an extended abstract of our original work published in KDD23, where we won the best research paper award (Xiangguo Sun, Hong Cheng, Jia Li, Bo Liu, and Jihong Guan. All in one: Multi-task prompting for graph neural networks. KDD 23) The paper introduces a novel approach to bridging the gap between pre-trained graph models and the diverse tasks they're applied to, inspired by the success of prompt learning in NLP. Recognizing the challenge of aligning pre-trained models with varied graph tasks (node level, edge level, and graph level), which can lead to negative transfer and poor performance, we propose a multi-task prompting method for graphs. This method involves unifying graph and language prompt formats, enabling NLP's prompting strategies to be adapted for graph tasks. By analyzing the task space of graph applications, we reformulate problems to fit graph-level tasks and apply meta-learning to improve prompt initialization for multiple tasks. Experiments show our method's effectiveness in enhancing model performance across different graph tasks. Beyond the original work, in this extended abstract, we further discuss the graph prompt from a bigger picture and provide some of the latest work toward this area.
• Abstract（参考訳）: この論文は、KDD23で発表された最初の論文の要約であり、私たちは最高の研究論文賞(Xiangguo Sun, Hong Cheng, Jia Li, Bo Liu, Jihong Guan)を受賞しました。ひとつは、グラフニューラルネットワークのマルチタスクプロンプト(multi-task prompting for graph neural network)です。 グラフタスク(ノードレベル,エッジレベル,グラフレベル)で事前学習したモデルを整列させることで,負の転送や性能の低下につながる問題を認識し,グラフのマルチタスクプロンプト手法を提案する。 この方法は、グラフと言語プロンプトフォーマットを統一し、nlpのプロンプト戦略をグラフタスクに適用可能にする。 グラフアプリケーションのタスク空間を解析することにより、グラフレベルのタスクに適合するように問題を再構成し、メタラーニングを適用し、複数のタスクの迅速な初期化を改善する。 実験により,様々なグラフタスクにおけるモデル性能の向上効果を示す。 オリジナルの作業以外にも、この拡張された抽象化では、グラフプロンプトをより大きな図からさらに議論し、この領域に向けた最新の作業をいくつか提供します。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Replay-and-Forget-Free Graph Class-Incremental Learning: A Task Profiling and Prompting Approach [28.194940062243003]
  クラス増分学習(Class-incremental Learning, CIL)は、一連のタスクを連続的に学習することを目的としており、各タスクは固有のクラスで構成されている。 CILの主な特徴は、推論中にタスク識別子(ID)が存在しないことである。 グラフデータに対する正確なタスクID予測はラプラシアスムースティングに基づくグラフタスクプロファイリング手法により実現できることを示す。
  論文  参考訳（メタデータ） (2024-10-14T09:54:20Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Generalized Graph Prompt: Toward a Unification of Pre-Training and Downstream Tasks on Graphs [20.406549548630156]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、学習可能なプロンプトを使用して、トレーニング済みモデルから最も関連性の高い知識を見つけるために、下流タスクを支援する。
  論文  参考訳（メタデータ） (2023-11-26T14:35:28Z)
• One for All: Towards Training One Graph Model for All Classification Tasks [61.656962278497225]
  様々なグラフタスクの統一モデルは、主にグラフ学習領域に固有の課題のために、まだ探索されていない。 上記の課題に対処するために単一のグラフモデルを使用できる最初の汎用フレームワークである textbfOne for All (OFA) を提案する。 OFAは様々なタスクでうまく機能し、グラフ上の最初の汎用のクロスドメイン分類モデルとなる。
  論文  参考訳（メタデータ） (2023-09-29T21:15:26Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• All in One: Multi-task Prompting for Graph Neural Networks [30.457491401821652]
  本稿では,グラフモデルのための新しいマルチタスクプロンプト手法を提案する。 まず、グラフプロンプトと言語プロンプトのフォーマットを、プロンプトトークン、トークン構造、挿入パターンで統一する。 次に、様々なグラフアプリケーションのタスク空間を調査し、下流の問題をグラフレベルのタスクに再構成する。
  論文  参考訳（メタデータ） (2023-07-04T06:27:31Z)
• GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks [16.455234748896157]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
  論文  参考訳（メタデータ） (2023-02-16T02:51:38Z)
• Graph Pooling for Graph Neural Networks: Progress, Challenges, and Opportunities [128.55790219377315]
  グラフニューラルネットワークは多くのグラフレベルのタスクの主要なアーキテクチャとして登場した。 グラフプーリングは、グラフ全体の全体的グラフレベル表現を得るためには不可欠である。
  論文  参考訳（メタデータ） (2022-04-15T04:02:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。