論文の概要: Subgraph-level Universal Prompt Tuning

• arxiv url: http://arxiv.org/abs/2402.10380v1
• Date: Fri, 16 Feb 2024 00:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 17:52:24.781053
• Title: Subgraph-level Universal Prompt Tuning
• Title（参考訳）: subgraphレベルユニバーサルプロンプトチューニング
• Authors: Junhyun Lee, Wooseong Yang, Jaewoo Kang
• Abstract要約: 本稿では,サブグラフ内の詳細なコンテキストに着目し,サブグラフレベルのユニバーサル・プロンプト・チューニング(SUPT)手法を提案する。 これにより、細調整ベースの手法よりもチューニングパラメータが極めて少なくなり、45のフルショットシナリオ実験のうち42でパフォーマンスが向上する。 数ショットのシナリオでは、45の実験のうち41回を上回り、平均的なパフォーマンスは6.6%以上向上した。
• 参考スコア（独自算出の注目度）: 23.47792674117515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the evolving landscape of machine learning, the adaptation of pre-trained models through prompt tuning has become increasingly prominent. This trend is particularly observable in the graph domain, where diverse pre-training strategies present unique challenges in developing effective prompt-based tuning methods for graph neural networks. Previous approaches have been limited, focusing on specialized prompting functions tailored to models with edge prediction pre-training tasks. These methods, however, suffer from a lack of generalizability across different pre-training strategies. Recently, a simple prompt tuning method has been designed for any pre-training strategy, functioning within the input graph's feature space. This allows it to theoretically emulate any type of prompting function, thereby significantly increasing its versatility for a range of downstream applications. Nevertheless, the capacity of such simple prompts to fully grasp the complex contexts found in graphs remains an open question, necessitating further investigation. Addressing this challenge, our work introduces the Subgraph-level Universal Prompt Tuning (SUPT) approach, focusing on the detailed context within subgraphs. In SUPT, prompt features are assigned at the subgraph-level, preserving the method's universal capability. This requires extremely fewer tuning parameters than fine-tuning-based methods, outperforming them in 42 out of 45 full-shot scenario experiments with an average improvement of over 2.5%. In few-shot scenarios, it excels in 41 out of 45 experiments, achieving an average performance increase of more than 6.6%.
• Abstract（参考訳）: 機械学習の進化期には、即時チューニングによる事前学習モデルの適応がますます顕著になっている。 この傾向はグラフ領域において特に観察可能であり、グラフニューラルネットワークの効果的なプロンプトベースのチューニング手法を開発する上で、様々な事前学習戦略がユニークな課題を提示する。 それまでのアプローチは限定的であり、エッジ予測を事前学習するモデルに合わせた特別なプロンプト機能に焦点を当てている。 しかし、これらの方法は様々な事前学習戦略における一般化性の欠如に悩まされている。 近年,任意の事前学習戦略に対して,入力グラフの特徴空間内で機能する簡易なプロンプトチューニング法が設計されている。 これにより、任意の種類のプロンプト関数を理論的にエミュレートし、様々な下流アプリケーションに対してその汎用性を著しく向上させることができる。 しかし、そのような単純なプロンプトがグラフに見られる複雑な文脈を完全に把握する能力は未解決の問題であり、さらなる調査が必要となる。 この課題に対処するため,本稿では,サブグラフ内の詳細なコンテキストに着目した,サブグラフレベルのユニバーサルプロンプトチューニング(SUPT)アプローチを提案する。 SUPTでは、プロンプト機能はサブグラフレベルに割り当てられ、メソッドの普遍性を保存する。 これは微調整ベースの手法よりも非常に少ないチューニングパラメータを必要とし、45のフルショットシナリオ実験のうち42の精度で平均2.5%以上改善されている。 少数のシナリオでは、45の実験のうち41回に上り、6.6%以上の平均的なパフォーマンス向上を達成した。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Context-Aware Multimodal Pretraining [72.04020920042574]
  視覚言語モデルをトレーニングすることで,数ショット適応を著しく向上させることができることを示す。 テストタイムのサンプル効率は最大で4倍改善され、平均的な数ショット適応率は5%以上向上した。
  論文  参考訳（メタデータ） (2024-11-22T17:55:39Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• RELIEF: Reinforcement Learning Empowered Graph Feature Prompt Tuning [15.385771185777626]
  近年,グラフ表現学習に一般化能力とデータ効率を応用した「事前学習,プロンプト」パラダイムが提案されている。 本稿では,Reinforcement Learning (RL) を用いたRELIEFを提案する。
  論文  参考訳（メタデータ） (2024-08-06T13:55:51Z)
• Gradient-Regulated Meta-Prompt Learning for Generalizable Vision-Language Models [137.74524357614285]
  グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。 パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。 GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-03-12T05:03:37Z)
• SGL-PT: A Strong Graph Learner with Graph Prompt Tuning [36.650472660276]
  そこで我々は,SGL-PTという新しいフレームワークを提案し,学習戦略であるPre-train, Prompt, Predict'に従う。 具体的には、生成的かつコントラスト的な自己教師付きグラフ学習の相補的メリットを得られるSGLと呼ばれる、強力で普遍的な事前学習タスクを提起する。 また, グラフ分類タスクを目標として, 事前学習と微調整を統一し, 従来のテキストタスクと同様の形式で下流タスクを再構成する, 新たな動詞フリープロンプト関数を設計する。
  論文  参考訳（メタデータ） (2023-02-24T04:31:18Z)
• Universal Prompt Tuning for Graph Neural Networks [10.250964386142819]
  我々は,任意の事前学習戦略の下で,事前学習したGNNモデルに対して,GPF(Graph Prompt Feature)と呼ばれる普遍的なプロンプトベースのチューニング手法を提案する。 GPFは入力グラフの特徴空間上で動作し、理論的には任意の形式のプロンプト関数に等価な効果を達成できる。 本手法は,事前学習戦略を応用したモデルに適用した場合,既存の特殊プロンプトベースのチューニング手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-09-30T05:19:27Z)
• Generalizing Interactive Backpropagating Refinement for Dense Prediction [0.0]
  本稿では,G-BRSレイヤの集合を導入し,グローバル・ローカライズド・リファインメントとローカライズド・リファインメントの両立を可能にした。 提案手法は,数クリックで既存の事前訓練された最先端モデルの性能を向上する。
  論文  参考訳（メタデータ） (2021-12-21T03:52:08Z)
• Deep Gaussian Processes for Few-Shot Segmentation [66.08463078545306]
  少数ショットのセグメンテーションは難しい作業であり、いくつかの注釈付きサンプルから一般化可能な表現を抽出する必要がある。 ガウス過程(GP)回帰に基づく数ショット学習者定式化を提案する。 PASCAL-5i と COCO-20i では mIoU スコアが68.1 と 49.8 である。
  論文  参考訳（メタデータ） (2021-03-30T17:56:32Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。