Fugu-MT 論文翻訳(概要): A Unified Graph Selective Prompt Learning for Graph Neural Networks

論文の概要: A Unified Graph Selective Prompt Learning for Graph Neural Networks

arxiv url: http://arxiv.org/abs/2406.10498v1
Date: Sat, 15 Jun 2024 04:36:40 GMT
ステータス: 処理完了
システム内更新日: 2024-06-19 00:12:44.306441
Title: A Unified Graph Selective Prompt Learning for Graph Neural Networks
Title（参考訳）: グラフニューラルネットワークのための統一グラフ選択型プロンプト学習
Authors: Bo Jiang, Hao Wu, Ziyan Zhang, Beibei Wang, Jin Tang,
Abstract要約: Graph Prompt Feature(GPF)は、Graph Neural Networks(GNN)のトレーニング済みモデルを適応することに成功した。 GNNファインチューニングのための新しいグラフ選択型プロンプト特徴学習(GSPF)を提案する。
参考スコア（独自算出の注目度）: 20.595782116049428
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, graph prompt learning/tuning has garnered increasing attention in adapting pre-trained models for graph representation learning. As a kind of universal graph prompt learning method, Graph Prompt Feature (GPF) has achieved remarkable success in adapting pre-trained models for Graph Neural Networks (GNNs). By fixing the parameters of a pre-trained GNN model, the aim of GPF is to modify the input graph data by adding some (learnable) prompt vectors into graph node features to better align with the downstream tasks on the smaller dataset. However, existing GPFs generally suffer from two main limitations. First, GPFs generally focus on node prompt learning which ignore the prompting for graph edges. Second, existing GPFs generally conduct the prompt learning on all nodes equally which fails to capture the importances of different nodes and may perform sensitively w.r.t noisy nodes in aligning with the downstream tasks. To address these issues, in this paper, we propose a new unified Graph Selective Prompt Feature learning (GSPF) for GNN fine-tuning. The proposed GSPF integrates the prompt learning on both graph node and edge together, which thus provides a unified prompt model for the graph data. Moreover, it conducts prompt learning selectively on nodes and edges by concentrating on the important nodes and edges for prompting which thus make our model be more reliable and compact. Experimental results on many benchmark datasets demonstrate the effectiveness and advantages of the proposed GSPF method.
Abstract（参考訳）: 近年,グラフ表現学習のための事前学習モデルの適用において,グラフプロンプト学習/チューニングが注目されている。グラフプロンプト学習の一種として、グラフプロンプト特徴量(GPF)は、グラフニューラルネットワーク(GNN)の事前学習モデルの適用において顕著な成功を収めた。事前訓練されたGNNモデルのパラメータを固定することにより、GPFの目的は、グラフノード機能にいくつかの(学習可能な)プロンプトベクトルを追加して、より小さなデータセットの下流タスクとの整合性を高めることで、入力グラフデータを修正することである。しかし、既存のGPFは一般に2つの大きな制限がある。まず、GPFはグラフエッジのプロンプトを無視したノードプロンプト学習に重点を置いている。第二に、既存のGPFは一般に、異なるノードの重要さを捉えるのに失敗し、下流のタスクに合わせると、敏感にw.r.tノイズの多いノードを実行する。本稿では,GNNファインチューニングのための新しいグラフ選択型プロンプト特徴学習(GSPF)を提案する。提案したGSPFは,グラフノードとエッジの双方でのプロンプト学習を統合し,グラフデータの統一的なプロンプトモデルを提供する。さらに、重要なノードとエッジに集中して、ノードとエッジを選択的に学習することで、モデルをより信頼性とコンパクトにする。多くのベンチマークデータセットに対する実験結果から,提案手法の有効性と利点が示された。

関連論文リスト

Reliable and Compact Graph Fine-tuning via GraphSparse Prompting [24.381392096420402]
グラフプロンプトおよびグラフスパースプロンプト(GSP)におけるスパース表現理論の活用を提案する。 GSPは、下流タスクのコンパクトなプロンプトを達成するために最適な要素を適応的かつ簡潔に選択することを目的としている。 GSFP と GSmFP モデルを解くために、単純で効果的なアルゴリズムが設計された。
論文参考訳（メタデータ） (2024-10-29T05:31:14Z)
GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks [2.4175455407547015]
グラフニューラルネットワークは、隣人からの情報を集約することでノードを表現することを学ぶ。いくつかの既存手法では、ノードの小さなサブセットをサンプリングし、GNNをもっと大きなグラフにスケールすることで、この問題に対処している。本稿では,GNNのトレーニングに不可欠なノードの集合を識別する適応サンプリング手法であるGRAPESを紹介する。
論文参考訳（メタデータ） (2023-10-05T09:08:47Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文参考訳（メタデータ） (2023-06-14T09:21:15Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文参考訳（メタデータ） (2021-10-29T19:55:12Z)
Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
論文参考訳（メタデータ） (2020-11-19T06:03:35Z)
Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文参考訳（メタデータ） (2020-10-25T22:39:31Z)
CatGCN: Graph Convolutional Networks with Categorical Node Features [99.555850712725]
CatGCNはグラフ学習に適したノード機能である。エンドツーエンドでCatGCNを訓練し、半教師付きノード分類でそれを実証する。
論文参考訳（メタデータ） (2020-09-11T09:25:17Z)
Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
論文参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。