Fugu-MT 論文翻訳(概要): Prompt Tuning for Graph Neural Networks

論文の概要: Prompt Tuning for Graph Neural Networks

arxiv url: http://arxiv.org/abs/2209.15240v1
Date: Fri, 30 Sep 2022 05:19:27 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 14:29:41.648882
Title: Prompt Tuning for Graph Neural Networks
Title（参考訳）: グラフニューラルネットワークのためのプロンプトチューニング
Authors: Taoran Fang, Yunchao Zhang, Yang Yang, Chunping Wang
Abstract要約: 本稿では,従来のGNNモデルを下流タスクに適応させるために,グラフプロンプトを提案する。 GP-Feature(GPF)と呼ばれるグラフプロンプトの具体的実装を導入し、下流グラフの特徴空間に学習可能な摂動を追加する。 GPF が事前学習した GNN モデルに対して有効であることを検証するとともに,実験結果から,GPF が微調整と同等の性能を達成できることが示唆された。
参考スコア（独自算出の注目度）: 5.120604417848354
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, prompt tuning has set off a research boom in the adaptation of pre-trained models. In this paper, we propose Graph Prompt as an efficient and effective alternative to full fine-tuning for adapting the pre-trianed GNN models to downstream tasks. To the best of our knowledge, we are the first to explore the effectiveness of prompt tuning on existing pre-trained GNN models. Specifically, without tuning the parameters of the pre-trained GNN model, we train a task-specific graph prompt that provides graph-level transformations on the downstream graphs during the adaptation stage. Then, we introduce a concrete implementation of the graph prompt, called GP-Feature (GPF), which adds learnable perturbations to the feature space of the downstream graph. GPF has a strong expressive ability that it can modify both the node features and the graph structure implicitly. Accordingly, we demonstrate that GPF can achieve the approximately equivalent effect of any graph-level transformations under most existing pre-trained GNN models. We validate the effectiveness of GPF on numerous pre-trained GNN models, and the experimental results show that with a small amount (about 0.1% of that for fine-tuning ) of tunable parameters, GPF can achieve comparable performances as fine-tuning, and even obtain significant performance gains in some cases.
Abstract（参考訳）: 近年、プロンプトチューニングは、事前訓練されたモデルの適応において研究ブームを引き起こしている。本稿では,従来のGNNモデルを下流タスクに適応させるための完全微調整の代替として,グラフプロンプトを提案する。我々の知る限り、我々は既存の訓練済みのGNNモデルに対する迅速なチューニングの有効性を初めて探求する。具体的には、事前訓練されたGNNモデルのパラメータを調整せずに、適応段階で下流グラフにグラフレベルの変換を提供するタスク固有のグラフプロンプトを訓練する。次に、下流グラフの特徴空間に学習可能な摂動を追加するGP-Feature(GPF)と呼ばれるグラフプロンプトの具体的な実装を紹介する。 GPFは、ノードの特徴とグラフ構造の両方を暗黙的に変更できる強力な表現能力を持っている。したがって,既存のGNNモデルにおいて,GPFがグラフレベルの変換にほぼ等価な効果が得られることを示す。 GPF の多数の事前学習 GNN モデルに対する有効性を検証するとともに, 実験結果から, 調整可能なパラメータの少ない (約 0.1% ) であれば, GPF は微調整として同等の性能を達成でき, 性能も向上することを示した。

関連論文リスト

RELIEF: Reinforcement Learning Empowered Graph Feature Prompt Tuning [15.385771185777626]
近年,グラフ表現学習に一般化能力とデータ効率を応用した「事前学習,プロンプト」パラダイムが提案されている。本稿では,Reinforcement Learning (RL) を用いたRELIEFを提案する。
論文参考訳（メタデータ） (2024-08-06T13:55:51Z)
Subgraph-level Universal Prompt Tuning [23.47792674117515]
本稿では,サブグラフ内の詳細なコンテキストに着目し,サブグラフレベルのユニバーサル・プロンプト・チューニング(SUPT)手法を提案する。これにより、細調整ベースの手法よりもチューニングパラメータが極めて少なくなり、45のフルショットシナリオ実験のうち42でパフォーマンスが向上する。数ショットのシナリオでは、45の実験のうち41回を上回り、平均的なパフォーマンスは6.6%以上向上した。
論文参考訳（メタデータ） (2024-02-16T00:25:24Z)
Pre-Training and Fine-Tuning Generative Flow Networks [61.90529626590415]
本稿では,GFlowNetの報酬なし事前学習のための新しいアプローチを提案する。自己指導型問題としてトレーニングをフレーミングすることで,候補空間の探索を学習する結果条件付きGFlowNetを提案する。事前学習したOC-GFNモデルにより、下流タスクにおける新しい報酬関数をサンプリングできるポリシーを直接抽出できることを示す。
論文参考訳（メタデータ） (2023-10-05T09:53:22Z)
Learning How to Propagate Messages in Graph Neural Networks [55.2083896686782]
本稿では,グラフニューラルネットワーク(GNN)におけるメッセージ伝搬戦略の学習問題について検討する。本稿では,GNNパラメータの最大類似度推定を支援するために,最適伝搬ステップを潜時変数として導入する。提案フレームワークは,GNNにおけるメッセージのパーソナライズおよび解釈可能な伝達戦略を効果的に学習することができる。
論文参考訳（メタデータ） (2023-10-01T15:09:59Z)
SGL-PT: A Strong Graph Learner with Graph Prompt Tuning [36.650472660276]
そこで我々は,SGL-PTという新しいフレームワークを提案し,学習戦略であるPre-train, Prompt, Predict'に従う。具体的には、生成的かつコントラスト的な自己教師付きグラフ学習の相補的メリットを得られるSGLと呼ばれる、強力で普遍的な事前学習タスクを提起する。また, グラフ分類タスクを目標として, 事前学習と微調整を統一し, 従来のテキストタスクと同様の形式で下流タスクを再構成する, 新たな動詞フリープロンプト関数を設計する。
論文参考訳（メタデータ） (2023-02-24T04:31:18Z)
Analyzing the Effect of Sampling in GNNs on Individual Fairness [79.28449844690566]
グラフニューラルネットワーク(GNN)ベースの手法は、レコメンダシステムの分野を飽和させた。我々は,GNNの学習を支援するために,グラフ上で個別の公平性を促進させる既存手法を拡張した。本研究では,局所ニュアンスが表現学習における公平化促進の過程を導くことによって,ミニバッチトレーニングが個人の公正化を促進することを示す。
論文参考訳（メタデータ） (2022-09-08T16:20:25Z)
Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文参考訳（メタデータ） (2022-07-18T14:23:31Z)
SizeShiftReg: a Regularization Method for Improving Size-Generalization in Graph Neural Networks [5.008597638379227]
グラフニューラルネットワーク(GNN)は,グラフ分類のデファクトモデルとなっている。テストデータへのアクセスを必要とせずに,任意のGNNに適用可能な正規化戦略を提案する。我々の正規化は、粗い手法を用いてトレーニンググラフのサイズの変化をシミュレートする考え方に基づいている。
論文参考訳（メタデータ） (2022-07-16T09:50:45Z)
An Adaptive Graph Pre-training Framework for Localized Collaborative Filtering [79.17319280791237]
局所的協調フィルタリング(ADAPT)のための適応グラフ事前学習フレームワークを提案する。 ADAPTは、異なるグラフにまたがる共通知識と、各グラフの特異性の両方をキャプチャする。ユーザ/イテムの埋め込みを転送する必要はなく、異なるグラフにまたがる共通知識と各グラフのユニークさの両方をキャプチャできる。
論文参考訳（メタデータ） (2021-12-14T06:53:13Z)
Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文参考訳（メタデータ） (2021-10-13T15:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。