Fugu-MT 論文翻訳(概要): HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning

論文の概要: HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning

arxiv url: http://arxiv.org/abs/2312.01878v8
Date: Mon, 26 Aug 2024 10:13:43 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 00:46:25.286367
Title: HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning
Title（参考訳）: HGPROMPT:Few-shot Prompt Learningのための均質グラフと不均質グラフ
Authors: Xingtong Yu, Yuan Fang, Zemin Liu, Xinming Zhang,
Abstract要約: 本稿では,HGPROMPTを提案する。HGPROMPTは,事前学習タスクと下流タスクだけでなく,均一かつ均一なグラフを統一するための,新しい事前学習および促進フレームワークである。我々は3つの公開データセットの広範な実験を通してHGPROMPTを徹底的に評価・解析した。
参考スコア（独自算出の注目度）: 16.587427365950838
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph neural networks (GNNs) and heterogeneous graph neural networks (HGNNs) are prominent techniques for homogeneous and heterogeneous graph representation learning, yet their performance in an end-to-end supervised framework greatly depends on the availability of task-specific supervision. To reduce the labeling cost, pre-training on self-supervised pretext tasks has become a popular paradigm,but there is often a gap between the pre-trained model and downstream tasks, stemming from the divergence in their objectives. To bridge the gap, prompt learning has risen as a promising direction especially in few-shot settings, without the need to fully fine-tune the pre-trained model. While there has been some early exploration of prompt-based learning on graphs, they primarily deal with homogeneous graphs, ignoring the heterogeneous graphs that are prevalent in downstream applications. In this paper, we propose HGPROMPT, a novel pre-training and prompting framework to unify not only pre-training and downstream tasks but also homogeneous and heterogeneous graphs via a dual-template design. Moreover, we propose dual-prompt in HGPROMPT to assist a downstream task in locating the most relevant prior to bridge the gaps caused by not only feature variations but also heterogeneity differences across tasks. Finally, we thoroughly evaluate and analyze HGPROMPT through extensive experiments on three public datasets.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)とヘテロジニアスグラフニューラルネットワーク(HGNN)は、同質で異質なグラフ表現学習において顕著なテクニックであるが、エンドツーエンドの監視フレームワークにおけるパフォーマンスは、タスク固有の監視の可用性に大きく依存している。ラベル付けコストを削減するため、自己教師付きプレテキストタスクの事前学習は一般的なパラダイムとなっているが、事前訓練されたモデルと下流タスクの間には、目的の相違から生じるギャップがしばしばある。ギャップを埋めるために、特に数ショット設定では、事前訓練されたモデルを完全に微調整することなく、迅速な学習が有望な方向として上昇している。グラフ上でのプロンプトベースの学習に関する初期の研究はあったが、主に同質グラフを扱っており、下流のアプリケーションでよく見られる不均一グラフを無視している。本稿では,HGPROMPTを提案する。HGPROMPTは,事前学習タスクと下流タスクだけでなく,二重テンプレート設計による均質かつ異質なグラフを統一するための,新しい事前学習および促進フレームワークである。さらに,HGPROMPTにおいて,特徴量の変化だけでなく,タスク間の異種性の違いによって生じるギャップを埋めるために,下流タスクの探索を支援するために,二重プロンプトを提案する。最後に,HGPROMPTを3つの公開データセットの広範な実験により徹底的に評価・解析する。

関連論文リスト

Non-Homophilic Graph Pre-Training and Prompt Learning [11.996173149569627]
本稿では,好ましくないグラフに対する事前学習と迅速な学習の枠組みであるProNoGを提案する。まず、既存のグラフ事前学習手法を分析し、事前学習タスクの選択に関する理論的知見を提供する。第2に,各ノードが特異な非ホモフィル性を示すことを認識し,下流タスクにおけるノード固有のパターンを特徴付ける条件付きネットワークを提案する。
論文参考訳（メタデータ） (2024-08-22T17:57:31Z)
The Heterophilic Graph Learning Handbook: Benchmarks, Models, Theoretical Analysis, Applications and Challenges [101.83124435649358]
ホモフィリ原理では、同じラベルや類似属性を持つieノードが接続される可能性が高い。最近の研究で、GNNのパフォーマンスとNNのパフォーマンスが満足できない非自明なデータセットが特定されている。
論文参考訳（メタデータ） (2024-07-12T18:04:32Z)
HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。半教師付きノード分類における最先端HGNNの性能を向上させる。
論文参考訳（メタデータ） (2023-10-23T19:35:57Z)
Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
論文参考訳（メタデータ） (2023-10-16T12:58:04Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
論文参考訳（メタデータ） (2022-08-21T15:12:08Z)
Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
論文参考訳（メタデータ） (2022-04-30T12:57:02Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Heterogeneous Similarity Graph Neural Network on Electronic Health Records [74.66674469510251]
非均質な類似度グラフニューラルネットワーク(HSGNN)を提案し、新しい異種GNNでEHRを分析します。フレームワークは2つの部分から構成される: 1つは前処理方式で、もう1つはエンドツーエンドのGNNである。 GNNは全ての同質グラフを入力として取り、それら全てを1つのグラフに融合して予測する。
論文参考訳（メタデータ） (2021-01-17T23:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。