論文の概要: DAGPrompT: Pushing the Limits of Graph Prompting with a Distribution-aware Graph Prompt Tuning Approach

• arxiv url: http://arxiv.org/abs/2501.15142v1
• Date: Sat, 25 Jan 2025 08:53:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:49.755408
• Title: DAGPrompT: Pushing the Limits of Graph Prompting with a Distribution-aware Graph Prompt Tuning Approach
• Title（参考訳）: DAGPrompT:分散対応グラフプロンプトチューニングアプローチによるグラフプロンプトの限界を押し上げる
• Authors: Qin Chen, Liang Wang, Bo Zheng, Guojie Song,
• Abstract要約: グラフプロンプト法はヘテロフィリーグラフのような複雑なグラフと競合する。 本稿では,グラフプロンプト法を複雑グラフに適用する上での2つの重要な課題について述べる。 本稿では,これらの課題を克服するために,分散対応グラフプロンプトチューニング(DAGPrompT)を提案する。
• 参考スコア（独自算出の注目度）: 36.29151413055608
• License:
• Abstract: The pre-train then fine-tune approach has advanced GNNs by enabling general knowledge capture without task-specific labels. However, an objective gap between pre-training and downstream tasks limits its effectiveness. Recent graph prompting methods aim to close this gap through task reformulations and learnable prompts. Despite this, they struggle with complex graphs like heterophily graphs. Freezing the GNN encoder can reduce the impact of prompting, while simple prompts fail to handle diverse hop-level distributions. This paper identifies two key challenges in adapting graph prompting methods for complex graphs: (1) adapting the model to new distributions in downstream tasks to mitigate pre-training and fine-tuning discrepancies from heterophily and (2) customizing prompts for hop-specific node requirements. To overcome these challenges, we propose Distribution-aware Graph Prompt Tuning (DAGPrompT), which integrates a GLoRA module for optimizing the GNN encoder's projection matrix and message-passing schema through low-rank adaptation. DAGPrompT also incorporates hop-specific prompts accounting for varying graph structures and distributions among hops. Evaluations on 10 datasets and 14 baselines demonstrate that DAGPrompT improves accuracy by up to 4.79 in node and graph classification tasks, setting a new state-of-the-art while preserving efficiency. Codes are available at GitHub.
• Abstract（参考訳）: プレトレインとファインチューンアプローチは、タスク固有のラベルを使わずに、一般的な知識の獲得を可能にすることによって、進歩したGNNを持つ。 しかし、事前学習と下流タスクの客観的なギャップは、その効果を制限している。 近年のグラフプロンプト手法は,タスク修正や学習可能なプロンプトを通じて,このギャップを埋めることを目指している。 それにもかかわらず、彼らはヘテロフィリーグラフのような複雑なグラフに苦しむ。 GNNエンコーダの凍結はプロンプトの影響を減少させるが、単純なプロンプトは多様なホップレベルの分布を処理できない。 本稿では,グラフプロンプト法を複雑グラフに適応させる上で重要な課題を2つ挙げる:(1)下流タスクにおける新しい分布にモデルを適応させることにより,事前学習と細調整の相違をヘテロフィリーから軽減し,(2)ホップ固有のノード要求に対するプロンプトをカスタマイズすること。 これらの課題を克服するために、GNNエンコーダのプロジェクション行列とメッセージパススキーマを低ランク適応により最適化するGLoRAモジュールを統合した分散対応グラフプロンプトチューニング(DAGPrompT)を提案する。 DAGPrompTはまた、ホップ間の様々なグラフ構造と分布を説明するホップ固有のプロンプトも組み込んでいる。 10のデータセットと14のベースラインによる評価では、DAGPrompTはノードとグラフの分類タスクで最大4.79の精度向上を実現し、効率を保ちながら新たな最先端を設定できる。 コードはGitHubで入手できる。

関連論文リスト

• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Reliable and Compact Graph Fine-tuning via GraphSparse Prompting [24.381392096420402]
  グラフプロンプトおよびグラフスパースプロンプト(GSP)におけるスパース表現理論の活用を提案する。 GSPは、下流タスクのコンパクトなプロンプトを達成するために最適な要素を適応的かつ簡潔に選択することを目的としている。 GSFP と GSmFP モデルを解くために、単純で効果的なアルゴリズムが設計された。
  論文  参考訳（メタデータ） (2024-10-29T05:31:14Z)
• A Unified Graph Selective Prompt Learning for Graph Neural Networks [20.595782116049428]
  Graph Prompt Feature(GPF)は、Graph Neural Networks(GNN)のトレーニング済みモデルを適応することに成功した。 GNNファインチューニングのための新しいグラフ選択型プロンプト特徴学習(GSPF)を提案する。
  論文  参考訳（メタデータ） (2024-06-15T04:36:40Z)
• GraphGPT: Generative Pre-trained Graph Eulerian Transformer [8.675197550607358]
  グラフユーレリア変換器(GET)に基づくグラフ学習のための新しい生成事前学習モデルを提案する。 GraphGPTは、複数の大規模Open Graph Benchmark(OGB)データセット上で、最先端のメソッドに匹敵するパフォーマンスを達成する。 特に、生成前のトレーニングでは、パフォーマンスの向上を維持しながら、GraphGPTを20億のパラメータにスケールすることが可能である。
  論文  参考訳（メタデータ） (2023-12-31T16:19:30Z)
• HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [22.775933880072294]
  HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。 半教師付きノード分類における最先端HGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T19:35:57Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。