Fugu-MT 論文翻訳(概要): Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks

論文の概要: Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks

arxiv url: http://arxiv.org/abs/2310.10362v3
Date: Tue, 4 Jun 2024 08:31:15 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 14:07:02.733766
Title: Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks
Title（参考訳）: Self-Pro: グラフニューラルネットワークのためのセルフプロンプトとチューニングフレームワーク
Authors: Chenghua Gong, Xiang Li, Jianxiang Yu, Cheng Yao, Jiaqi Tan, Chengcheng Yu,
Abstract要約: Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
参考スコア（独自算出の注目度）: 10.794305560114903
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graphs have become an important modeling tool for web applications, and Graph Neural Networks (GNNs) have achieved great success in graph representation learning. However, the performance of traditional GNNs heavily relies on a large amount of supervision. Recently, ``pre-train, fine-tune'' has become the paradigm to address the issues of label dependency and poor generalization. However, the pre-training strategies vary for graphs with homophily and heterophily, and the objectives for various downstream tasks also differ. This leads to a gap between pretexts and downstream tasks, resulting in ``negative transfer'' and poor performance. Inspired by prompt learning in Natural Language Processing (NLP), many studies turn to bridge the gap and fully leverage the pre-trained model. However, existing methods for graph prompting are tailored to homophily, neglecting inherent heterophily on graphs. Meanwhile, most of them rely on the randomly initialized prompts, which negatively impact on the stability. Therefore, we propose Self-Prompt, a prompting framework for graphs based on the model and data itself. We first introduce asymmetric graph contrastive learning for pretext to address heterophily and align the objectives of pretext and downstream tasks. Then we reuse the component from pre-training phase as the self adapter and introduce self-prompts based on graph itself for task adaptation. Finally, we conduct extensive experiments on 11 benchmark datasets to demonstrate its superiority. We provide our codes at https://github.com/gongchenghua/Self-Pro.
Abstract（参考訳）: グラフはWebアプリケーションにとって重要なモデリングツールとなり、グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めた。しかし、従来のGNNのパフォーマンスは大量の監督に依存している。近年, 'pre-train, fine-tune'' はラベル依存や一般化の貧弱な問題に対処するパラダイムとなっている。しかし、事前学習戦略はホモフィリーなグラフとヘテロフィリーなグラフで異なり、様々な下流タスクの目的も異なる。これにより、プリテキストとダウンストリームタスクの間にギャップが生じ、結果として‘負の転送’が発生し、パフォーマンスが低下する。自然言語処理(NLP)の素早い学習にインスパイアされた多くの研究は、ギャップを埋め、事前訓練されたモデルを完全に活用する。しかし、グラフプロンプトの既存の方法はホモフィリーに調整されており、グラフ上の固有のヘテロフィリーを無視している。一方、それらの多くはランダムに初期化されたプロンプトに依存しており、安定性に悪影響を及ぼす。そこで本研究では,モデルとデータ自体に基づくグラフのプロンプトフレームワークであるSelf-Promptを提案する。まず,非対称なグラフコントラスト学習を導入し,不均質に対処し,前文と下流タスクの目的を整合させる。次に、事前学習段階のコンポーネントをセルフアダプタとして再利用し、タスク適応のためのグラフ自体に基づいたセルフプロンプトを導入する。最後に、11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。私たちはhttps://github.com/gongchenghua/Self-Pro.comでコードを提供しています。

関連論文リスト

Non-Homophilic Graph Pre-Training and Prompt Learning [11.996173149569627]
本稿では,好ましくないグラフに対する事前学習と迅速な学習の枠組みであるProNoGを提案する。まず、既存のグラフ事前学習手法を分析し、事前学習タスクの選択に関する理論的知見を提供する。第2に,各ノードが特異な非ホモフィル性を示すことを認識し,下流タスクにおけるノード固有のパターンを特徴付ける条件付きネットワークを提案する。
論文参考訳（メタデータ） (2024-08-22T17:57:31Z)
Inductive Graph Alignment Prompt: Bridging the Gap between Graph Pre-training and Inductive Fine-tuning From Spectral Perspective [13.277779426525056]
グラフ事前学習と微調整」パラダイムはグラフニューラルネットワーク(GNN)を大幅に改善したしかし、事前学習と微調整の段階でのデータとタスクの差が大きいため、モデルの性能は依然として限られている。 Inductive Graph Alignment Prompt(IGAP)と呼ばれる新しいグラフプロンプト方式を提案する。
論文参考訳（メタデータ） (2024-02-21T06:25:54Z)
HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [24.435068514392487]
HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。半教師付きノード分類における最先端HGNNの性能を向上させる。
論文参考訳（メタデータ） (2023-10-23T19:35:57Z)
SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文参考訳（メタデータ） (2023-08-03T07:00:04Z)
Link Prediction without Graph Neural Networks [7.436429318051601]
リンク予測は多くのグラフアプリケーションにおいて基本的なタスクである。グラフニューラルネットワーク(GNN)がリンク予測の主要なフレームワークとなっている。グラフ学習による属性情報によって強化されたグラフにトポロジ中心のフレームワークを適用する新しいフレームワークであるGelatoを提案する。
論文参考訳（メタデータ） (2023-05-23T03:59:21Z)
Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
論文参考訳（メタデータ） (2022-06-23T20:12:51Z)
Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文参考訳（メタデータ） (2022-03-03T09:53:53Z)
Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
論文参考訳（メタデータ） (2022-01-04T15:49:18Z)
GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
論文参考訳（メタデータ） (2021-06-05T07:07:52Z)
Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文参考訳（メタデータ） (2020-10-22T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。