論文の概要: Inductive Graph Alignment Prompt: Bridging the Gap between Graph Pre-training and Inductive Fine-tuning From Spectral Perspective

• arxiv url: http://arxiv.org/abs/2402.13556v1
• Date: Wed, 21 Feb 2024 06:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:42:53.186949
• Title: Inductive Graph Alignment Prompt: Bridging the Gap between Graph Pre-training and Inductive Fine-tuning From Spectral Perspective
• Title（参考訳）: インダクティブグラフアライメントプロンプト:スペクトルの観点からのグラフ事前学習とインダクティブ微調整のギャップを橋渡しする
• Authors: Yuchen Yan, Peiyan Zhang, Zheng Fang, Qingqing Long
• Abstract要約: グラフ事前学習と微調整」パラダイムはグラフニューラルネットワーク(GNN)を大幅に改善した しかし、事前学習と微調整の段階でのデータとタスクの差が大きいため、モデルの性能は依然として限られている。 Inductive Graph Alignment Prompt(IGAP)と呼ばれる新しいグラフプロンプト方式を提案する。
• 参考スコア（独自算出の注目度）: 13.277779426525056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The "Graph pre-training and fine-tuning" paradigm has significantly improved Graph Neural Networks(GNNs) by capturing general knowledge without manual annotations for downstream tasks. However, due to the immense gap of data and tasks between the pre-training and fine-tuning stages, the model performance is still limited. Inspired by prompt fine-tuning in Natural Language Processing(NLP), many endeavors have been made to bridge the gap in graph domain. But existing methods simply reformulate the form of fine-tuning tasks to the pre-training ones. With the premise that the pre-training graphs are compatible with the fine-tuning ones, these methods typically operate in transductive setting. In order to generalize graph pre-training to inductive scenario where the fine-tuning graphs might significantly differ from pre-training ones, we propose a novel graph prompt based method called Inductive Graph Alignment Prompt(IGAP). Firstly, we unify the mainstream graph pre-training frameworks and analyze the essence of graph pre-training from graph spectral theory. Then we identify the two sources of the data gap in inductive setting: (i) graph signal gap and (ii) graph structure gap. Based on the insight of graph pre-training, we propose to bridge the graph signal gap and the graph structure gap with learnable prompts in the spectral space. A theoretical analysis ensures the effectiveness of our method. At last, we conduct extensive experiments among nodes classification and graph classification tasks under the transductive, semi-inductive and inductive settings. The results demonstrate that our proposed method can successfully bridge the data gap under different settings.
• Abstract（参考訳）: グラフ事前トレーニングと微調整」パラダイムは、下流タスクのマニュアルアノテーションなしで一般的な知識をキャプチャすることで、グラフニューラルネットワーク(GNN)を大幅に改善した。 しかし,事前学習段階と微調整段階の間のデータとタスクのギャップが大きいため,モデルの性能は依然として限られている。 自然言語処理(NLP)の迅速な微調整に触発された多くの試みが、グラフ領域のギャップを埋めるために行われた。 しかし、既存の方法は単に微調整タスクの形式をトレーニング済みタスクに書き換えるだけである。 事前学習グラフは微調整グラフと互換性があるという前提で、これらの方法は典型的にはトランスダクティブな設定で動作する。 微調整グラフと事前学習グラフとは大きく異なるインダクティブシナリオへのグラフ事前学習を一般化するために,インダクティブグラフアライメントプロンプト(igap)と呼ばれる新しいグラフプロンプト方式を提案する。 まず、主要なグラフ事前学習フレームワークを統合し、グラフスペクトル理論からグラフ事前学習の本質を分析する。 次に、インダクティブセッティングにおけるデータギャップの2つのソースを特定する。 (i)グラフ信号ギャップ及び (ii)グラフ構造ギャップ。 グラフ事前学習の知見に基づいて,スペクトル空間におけるグラフ信号ギャップとグラフ構造ギャップを学習可能なプロンプトでブリッジすることを提案する。 理論解析により本手法の有効性が保証される。 最後に,トランスダクティブ,セミインダクティブ,インダクティブの設定下で,ノード分類とグラフ分類タスクの広範な実験を行った。 その結果,提案手法は異なる設定下でデータギャップを橋渡しすることに成功した。

関連論文リスト

• Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis [7.309233340654514]
  本稿では,データ操作の観点からグラフのプロンプトを厳密に解析する理論的枠組みを提案する。 グラフ変換演算子に近似する能力を示す形式的保証定理を提供する。 グラフプロンプトによってこれらのデータ操作の誤差の上限を導出し、この議論をグラフのバッチに拡張する。
  論文  参考訳（メタデータ） (2024-10-02T15:07:13Z)
• Fine-tuning Graph Neural Networks by Preserving Graph Generative Patterns [13.378277755978258]
  プレトレーニンググラフと下流グラフの間の構造的ばらつきは,バニラ微調整戦略を用いた場合の転送可能性を大幅に制限することを示す。 下流グラフの生成パターンを保存するためにG-Tuningを提案する。 G-Tuningはドメイン内およびドメイン外移行学習実験において平均0.5%と2.6%の改善を示している。
  論文  参考訳（メタデータ） (2023-12-21T05:17:10Z)
• Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
  Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。 非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
  論文  参考訳（メタデータ） (2023-10-16T12:58:04Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• You Only Transfer What You Share: Intersection-Induced Graph Transfer Learning for Link Prediction [79.15394378571132]
  従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。 より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。 この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
  論文  参考訳（メタデータ） (2023-02-27T22:56:06Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。