論文の概要: Reliable and Compact Graph Fine-tuning via GraphSparse Prompting

• arxiv url: http://arxiv.org/abs/2410.21749v1
• Date: Tue, 29 Oct 2024 05:31:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:52.266673
• Title: Reliable and Compact Graph Fine-tuning via GraphSparse Prompting
• Title（参考訳）: GraphSparse Promptingによる信頼性とコンパクトなグラフ微細調整
• Authors: Bo Jiang, Hao Wu, Beibei Wang, Jin Tang, Bin Luo,
• Abstract要約: グラフプロンプトおよびグラフスパースプロンプト(GSP)におけるスパース表現理論の活用を提案する。 GSPは、下流タスクのコンパクトなプロンプトを達成するために最適な要素を適応的かつ簡潔に選択することを目的としている。 GSFP と GSmFP モデルを解くために、単純で効果的なアルゴリズムが設計された。
• 参考スコア（独自算出の注目度）: 24.381392096420402
• License:
• Abstract: Recently, graph prompt learning has garnered increasing attention in adapting pre-trained GNN models for downstream graph learning tasks. However, existing works generally conduct prompting over all graph elements (e.g., nodes, edges, node attributes, etc.), which is suboptimal and obviously redundant. To address this issue, we propose exploiting sparse representation theory for graph prompting and present Graph Sparse Prompting (GSP). GSP aims to adaptively and sparsely select the optimal elements (e.g., certain node attributes) to achieve compact prompting for downstream tasks. Specifically, we propose two kinds of GSP models, termed Graph Sparse Feature Prompting (GSFP) and Graph Sparse multi-Feature Prompting (GSmFP). Both GSFP and GSmFP provide a general scheme for tuning any specific pre-trained GNNs that can achieve attribute selection and compact prompt learning simultaneously. A simple yet effective algorithm has been designed for solving GSFP and GSmFP models. Experiments on 16 widely-used benchmark datasets validate the effectiveness and advantages of the proposed GSFPs.
• Abstract（参考訳）: 近年、下流グラフ学習タスクに事前学習したGNNモデルを適用する際に、グラフプロンプト学習が注目されている。 しかしながら、既存の作業は一般的に、最適以下で明らかに冗長なすべてのグラフ要素(例えば、ノード、エッジ、ノード属性など)のプロンプトを実行する。 本稿では,グラフプロンプトおよびグラフスパースプロンプト(GSP)におけるスパース表現理論の活用を提案する。 GSPは、下流タスクのコンパクトなプロンプトを達成するために最適な要素(例えば、特定のノード属性)を適応的かつ簡潔に選択することを目的としている。 具体的には,GSFP(Graph Sparse Feature Prompting)とGSmFP(Graph Sparse Multi-Feature Prompting)という2種類のGSPモデルを提案する。 GSFPとGSmFPはいずれも、属性選択とコンパクトなプロンプト学習を同時に達成できる、特定の事前訓練されたGNNをチューニングするための一般的なスキームを提供する。 GSFP と GSmFP モデルを解くために、単純で効果的なアルゴリズムが設計された。 広く使用されている16のベンチマークデータセットの実験は、提案されたGSFPの有効性と利点を検証する。

関連論文リスト

• Graph Structure Prompt Learning: A Novel Methodology to Improve Performance of Graph Neural Networks [13.655670509818144]
  グラフネットワーク(GNN)のトレーニングを強化するための新しいグラフ構造Prompt Learning法(GPL)を提案する。 GPLはタスク非依存のグラフ構造損失を利用して、GNNが下流タスクを同時に解決しながら固有のグラフ特性を学習することを奨励している。 11の実世界のデータセットの実験では、ニューラルネットワークによってトレーニングされた後、GNNはノード分類、グラフ分類、エッジタスクにおいて、元のパフォーマンスを大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-16T03:59:18Z)
• Efficient Graph Similarity Computation with Alignment Regularization [7.143879014059894]
  グラフ類似性計算(GSC)は、グラフニューラルネットワーク(GNN)を用いた学習に基づく予測タスクである。 適応正規化(AReg)と呼ばれる,シンプルながら強力な正規化技術によって,高品質な学習が達成可能であることを示す。 推論段階では、GNNエンコーダによって学習されたグラフレベル表現は、ARegを再度使用せずに直接類似度スコアを計算するために使用される。
  論文  参考訳（メタデータ） (2024-06-21T07:37:28Z)
• A Unified Graph Selective Prompt Learning for Graph Neural Networks [20.595782116049428]
  Graph Prompt Feature(GPF)は、Graph Neural Networks(GNN)のトレーニング済みモデルを適応することに成功した。 GNNファインチューニングのための新しいグラフ選択型プロンプト特徴学習(GSPF)を提案する。
  論文  参考訳（メタデータ） (2024-06-15T04:36:40Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Training Free Graph Neural Networks for Graph Matching [103.45755859119035]
  TFGMは、グラフニューラルネットワーク(GNN)ベースのグラフマッチングのパフォーマンスをトレーニングなしで向上するフレームワークである。 TFGMをさまざまなGNNに適用することは、ベースラインよりも有望な改善を示している。
  論文  参考訳（メタデータ） (2022-01-14T09:04:46Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Pointer Graph Networks [48.44209547013781]
  グラフニューラルネットワーク(GNN)は通常、前もって知られていると仮定される静的グラフに適用される。 Pointer Graph Networks (PGNs) モデル一般化能力を改善するために、追加の推論エッジを備えた拡張セットまたはグラフ。 PGNは各ノードが別のノードを動的に指し、メッセージがこれらのポインタを渡ることを可能にする。
  論文  参考訳（メタデータ） (2020-06-11T12:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。