論文の概要: SGL-PT: A Strong Graph Learner with Graph Prompt Tuning

• arxiv url: http://arxiv.org/abs/2302.12449v2
• Date: Tue, 15 Aug 2023 08:11:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 17:05:52.734212
• Title: SGL-PT: A Strong Graph Learner with Graph Prompt Tuning
• Title（参考訳）: SGL-PT: グラフプロンプトチューニングによるグラフ学習
• Authors: Yun Zhu and Jianhao Guo and Siliang Tang
• Abstract要約: そこで我々は,SGL-PTという新しいフレームワークを提案し,学習戦略であるPre-train, Prompt, Predict'に従う。 具体的には、生成的かつコントラスト的な自己教師付きグラフ学習の相補的メリットを得られるSGLと呼ばれる、強力で普遍的な事前学習タスクを提起する。 また, グラフ分類タスクを目標として, 事前学習と微調整を統一し, 従来のテキストタスクと同様の形式で下流タスクを再構成する, 新たな動詞フリープロンプト関数を設計する。
• 参考スコア（独自算出の注目度）: 36.650472660276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, much exertion has been paid to design graph self-supervised methods to obtain generalized pre-trained models, and adapt pre-trained models onto downstream tasks through fine-tuning. However, there exists an inherent gap between pretext and downstream graph tasks, which insufficiently exerts the ability of pre-trained models and even leads to negative transfer. Meanwhile, prompt tuning has seen emerging success in natural language processing by aligning pre-training and fine-tuning with consistent training objectives. In this paper, we identify the challenges for graph prompt tuning: The first is the lack of a strong and universal pre-training task across sundry pre-training methods in graph domain. The second challenge lies in the difficulty of designing a consistent training objective for both pre-training and downstream tasks. To overcome above obstacles, we propose a novel framework named SGL-PT which follows the learning strategy ``Pre-train, Prompt, and Predict''. Specifically, we raise a strong and universal pre-training task coined as SGL that acquires the complementary merits of generative and contrastive self-supervised graph learning. And aiming for graph classification task, we unify pre-training and fine-tuning by designing a novel verbalizer-free prompting function, which reformulates the downstream task in a similar format as pretext task. Empirical results show that our method surpasses other baselines under unsupervised setting, and our prompt tuning method can greatly facilitate models on biological datasets over fine-tuning methods.
• Abstract（参考訳）: 近年,グラフ自己教師法の設計,一般化事前学習モデルの作成,微調整による下流タスクへの事前学習モデルの適用に多くの努力が払われている。 しかし、プリテキストとダウンストリームグラフのタスクの間には固有のギャップがあり、事前訓練されたモデルの能力は不十分であり、負の移動につながる。 一方、プロンプトチューニングは、事前トレーニングと微調整を一貫したトレーニング目標に合わせることで、自然言語処理において新たな成功を収めている。 本稿では,グラフ領域における日没事前学習手法にまたがる強固で普遍的な事前学習タスクが欠如していることから,グラフプロンプトチューニングの課題を明らかにする。 第2の課題は,事前トレーニングとダウンストリームタスクの両方に対して,一貫したトレーニング目標を設計することの難しさにある。 以上の障害を克服するために,< Pre-train, Prompt, and Predict'' という学習戦略に従う新しいフレームワーク SGL-PT を提案する。 具体的には,生成的および対照的自己教師付きグラフ学習の補完的メリットを得るsglとして,強固で普遍的な事前学習課題を提起する。 そして, グラフ分類タスクを目標として, 先行学習と微調整を統一し, 下流課題を前文課題と類似した形式に再構成する, 新規な動詞化なしプロンプト関数を設計した。 実験結果から,本手法は教師なし設定で他のベースラインを上回っており,微調整法よりも生体データセットのモデルを大幅に促進できることがわかった。

関連論文リスト

• Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
  グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。 グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。 その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
  論文  参考訳（メタデータ） (2024-12-21T02:07:43Z)
• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、3つの根本的な問題のために難しい。 我々は、マルチモーダル・プロンプト・ラーニングを利用して、事前学習したGNNを下流のタスクやデータに効果的に適応させる。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks [22.775933880072294]
  HetGPTは、グラフニューラルネットワークのトレーニング後プロンプトフレームワークである。 半教師付きノード分類における最先端HGNNの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-23T19:35:57Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks [16.455234748896157]
  GraphPromptは、グラフに関する新しい事前トレーニングおよびプロンプトフレームワークである。 トレーニング済みタスクとダウンストリームタスクを共通タスクテンプレートに統合する。 また、トレーニング前のモデルから最も関連性の高い知識を見つけるために、下流タスクを支援するための学習可能なプロンプトも採用している。
  論文  参考訳（メタデータ） (2023-02-16T02:51:38Z)
• Self-supervised Graph Masking Pre-training for Graph-to-Text Generation [5.108327983929205]
  大規模事前訓練言語モデル(PLM)は、グラフからテキストへ(G2T)を生成する。 本稿では、教師信号を必要としないグラフマスキング事前学習戦略と、基礎となる事前学習エンコーダ・デコーダモデルのアーキテクチャの調整を提案する。 提案手法は,WebNLG+ 2020およびEventNarrative G2T生成データセット上で,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2022-10-19T14:44:56Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。