論文の概要: Universal Prompt Tuning for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2209.15240v2
• Date: Wed, 24 May 2023 07:04:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 03:09:12.275499
• Title: Universal Prompt Tuning for Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークのためのユニバーサルプロンプトチューニング
• Authors: Taoran Fang, Yunchao Zhang, Yang Yang, Chunping Wang, Lei Chen
• Abstract要約: 我々は,任意の事前学習戦略の下で,事前学習したGNNモデルに対して,GPF(Graph Prompt Feature)と呼ばれる普遍的なプロンプトベースのチューニング手法を提案する。 GPFは入力グラフの特徴空間上で動作し、理論的には任意の形式のプロンプト関数に等価な効果を達成できる。 本手法は,事前学習戦略を応用したモデルに適用した場合,既存の特殊プロンプトベースのチューニング手法よりも大幅に優れる。
• 参考スコア（独自算出の注目度）: 9.308880569689185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, prompt tuning has sparked a research surge in adapting pre-trained models. Unlike the unified pre-training strategy employed in the language field, the graph field exhibits diverse pre-training strategies, posing challenges in designing appropriate prompt-based tuning methods for graph neural networks. While some pioneering work has devised specialized prompting functions for models that employ edge prediction as their pre-training tasks, these methods are limited to specific pre-trained GNN models and lack broader applicability. In this paper, we introduce a universal prompt-based tuning method called Graph Prompt Feature (GPF) for pre-trained GNN models under any pre-training strategy. GPF operates on the input graph's feature space and can theoretically achieve an equivalent effect to any form of prompting function. Consequently, we no longer need to illustrate the prompting function corresponding to each pre-training strategy explicitly. Instead, we employ GPF to obtain the prompted graph for the downstream task in an adaptive manner. We provide rigorous derivations to demonstrate the universality of GPF and make guarantee of its effectiveness. The experimental results under various pre-training strategies indicate that our method performs better than fine-tuning, with an average improvement of about 1.4% in full-shot scenarios and about 3.2% in few-shot scenarios. Moreover, our method significantly outperforms existing specialized prompt-based tuning methods when applied to models utilizing the pre-training strategy they specialize in. These numerous advantages position our method as a compelling alternative to fine-tuning for downstream adaptations.
• Abstract（参考訳）: 近年、プロンプトチューニングは、事前訓練されたモデルに適応する研究の急増を引き起こしている。 言語分野における統合事前学習戦略とは異なり、グラフフィールドは様々な事前学習戦略を示し、グラフニューラルネットワークの適切なプロンプトベースのチューニング方法を設計する上での課題を提起する。 いくつかの先駆的な研究は、エッジ予測を事前訓練タスクとして使用するモデルの特別なプロンプト機能を考案しているが、これらの手法は特定の事前訓練されたGNNモデルに限定されており、より広範な適用性に欠ける。 本稿では,任意の事前学習戦略の下で事前学習したGNNモデルに対して,GPF(Graph Prompt Feature)と呼ばれる汎用的なプロンプトベースのチューニング手法を提案する。 GPFは入力グラフの特徴空間で動作し、理論上任意の形式のプロンプト関数に等価な効果を達成できる。 その結果、各事前学習戦略に対応するプロンプト関数を明示的に記述する必要がなくなった。 代わりに、我々はGPFを用いて、下流タスクの誘導グラフを適応的に取得する。 GPFの普遍性を実証し、その有効性を保証するための厳密な導出を提供する。 様々な事前学習戦略による実験結果から,本手法は微調整よりも優れた性能を示し,全ショットシナリオでは平均1.4%,小ショットシナリオでは約3.2%改善した。 さらに,本手法は,事前学習戦略を利用したモデルに適用した場合,既存の特殊プロンプトベースのチューニング手法よりも優れる。 これらの多くの利点は、この手法を下流適応のための微調整の説得力のある代替手段と位置づけている。

関連論文リスト

• RELIEF: Reinforcement Learning Empowered Graph Feature Prompt Tuning [15.385771185777626]
  近年,グラフ表現学習に一般化能力とデータ効率を応用した「事前学習,プロンプト」パラダイムが提案されている。 本稿では,Reinforcement Learning (RL) を用いたRELIEFを提案する。
  論文  参考訳（メタデータ） (2024-08-06T13:55:51Z)
• Subgraph-level Universal Prompt Tuning [23.47792674117515]
  本稿では,サブグラフ内の詳細なコンテキストに着目し,サブグラフレベルのユニバーサル・プロンプト・チューニング(SUPT)手法を提案する。 これにより、細調整ベースの手法よりもチューニングパラメータが極めて少なくなり、45のフルショットシナリオ実験のうち42でパフォーマンスが向上する。 数ショットのシナリオでは、45の実験のうち41回を上回り、平均的なパフォーマンスは6.6%以上向上した。
  論文  参考訳（メタデータ） (2024-02-16T00:25:24Z)
• Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
  本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。 自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。 事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-05T09:53:22Z)
• Learning How to Propagate Messages in Graph Neural Networks [55.2083896686782]
  本稿では,グラフニューラルネットワーク(GNN)におけるメッセージ伝搬戦略の学習問題について検討する。 本稿では,GNNパラメータの最大類似度推定を支援するために,最適伝搬ステップを潜時変数として導入する。 提案フレームワークは,GNNにおけるメッセージのパーソナライズおよび解釈可能な伝達戦略を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-10-01T15:09:59Z)
• SGL-PT: A Strong Graph Learner with Graph Prompt Tuning [36.650472660276]
  そこで我々は,SGL-PTという新しいフレームワークを提案し,学習戦略であるPre-train, Prompt, Predict'に従う。 具体的には、生成的かつコントラスト的な自己教師付きグラフ学習の相補的メリットを得られるSGLと呼ばれる、強力で普遍的な事前学習タスクを提起する。 また, グラフ分類タスクを目標として, 事前学習と微調整を統一し, 従来のテキストタスクと同様の形式で下流タスクを再構成する, 新たな動詞フリープロンプト関数を設計する。
  論文  参考訳（メタデータ） (2023-02-24T04:31:18Z)
• Analyzing the Effect of Sampling in GNNs on Individual Fairness [79.28449844690566]
  グラフニューラルネットワーク(GNN)ベースの手法は、レコメンダシステムの分野を飽和させた。 我々は,GNNの学習を支援するために,グラフ上で個別の公平性を促進させる既存手法を拡張した。 本研究では,局所ニュアンスが表現学習における公平化促進の過程を導くことによって,ミニバッチトレーニングが個人の公正化を促進することを示す。
  論文  参考訳（メタデータ） (2022-09-08T16:20:25Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• SizeShiftReg: a Regularization Method for Improving Size-Generalization in Graph Neural Networks [5.008597638379227]
  グラフニューラルネットワーク(GNN)は,グラフ分類のデファクトモデルとなっている。 テストデータへのアクセスを必要とせずに,任意のGNNに適用可能な正規化戦略を提案する。 我々の正規化は、粗い手法を用いてトレーニンググラフのサイズの変化をシミュレートする考え方に基づいている。
  論文  参考訳（メタデータ） (2022-07-16T09:50:45Z)
• An Adaptive Graph Pre-training Framework for Localized Collaborative Filtering [79.17319280791237]
  局所的協調フィルタリング(ADAPT)のための適応グラフ事前学習フレームワークを提案する。 ADAPTは、異なるグラフにまたがる共通知識と、各グラフの特異性の両方をキャプチャする。 ユーザ/イテムの埋め込みを転送する必要はなく、異なるグラフにまたがる共通知識と各グラフのユニークさの両方をキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-14T06:53:13Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。