論文の概要: Subgraph-level Universal Prompt Tuning
- arxiv url: http://arxiv.org/abs/2402.10380v1
- Date: Fri, 16 Feb 2024 00:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 17:52:24.781053
- Title: Subgraph-level Universal Prompt Tuning
- Title(参考訳): subgraphレベルユニバーサルプロンプトチューニング
- Authors: Junhyun Lee, Wooseong Yang, Jaewoo Kang
- Abstract要約: 本稿では,サブグラフ内の詳細なコンテキストに着目し,サブグラフレベルのユニバーサル・プロンプト・チューニング(SUPT)手法を提案する。
これにより、細調整ベースの手法よりもチューニングパラメータが極めて少なくなり、45のフルショットシナリオ実験のうち42でパフォーマンスが向上する。
数ショットのシナリオでは、45の実験のうち41回を上回り、平均的なパフォーマンスは6.6%以上向上した。
- 参考スコア(独自算出の注目度): 23.47792674117515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the evolving landscape of machine learning, the adaptation of pre-trained
models through prompt tuning has become increasingly prominent. This trend is
particularly observable in the graph domain, where diverse pre-training
strategies present unique challenges in developing effective prompt-based
tuning methods for graph neural networks. Previous approaches have been
limited, focusing on specialized prompting functions tailored to models with
edge prediction pre-training tasks. These methods, however, suffer from a lack
of generalizability across different pre-training strategies. Recently, a
simple prompt tuning method has been designed for any pre-training strategy,
functioning within the input graph's feature space. This allows it to
theoretically emulate any type of prompting function, thereby significantly
increasing its versatility for a range of downstream applications.
Nevertheless, the capacity of such simple prompts to fully grasp the complex
contexts found in graphs remains an open question, necessitating further
investigation. Addressing this challenge, our work introduces the
Subgraph-level Universal Prompt Tuning (SUPT) approach, focusing on the
detailed context within subgraphs. In SUPT, prompt features are assigned at the
subgraph-level, preserving the method's universal capability. This requires
extremely fewer tuning parameters than fine-tuning-based methods, outperforming
them in 42 out of 45 full-shot scenario experiments with an average improvement
of over 2.5%. In few-shot scenarios, it excels in 41 out of 45 experiments,
achieving an average performance increase of more than 6.6%.
- Abstract(参考訳): 機械学習の進化期には、即時チューニングによる事前学習モデルの適応がますます顕著になっている。
この傾向はグラフ領域において特に観察可能であり、グラフニューラルネットワークの効果的なプロンプトベースのチューニング手法を開発する上で、様々な事前学習戦略がユニークな課題を提示する。
それまでのアプローチは限定的であり、エッジ予測を事前学習するモデルに合わせた特別なプロンプト機能に焦点を当てている。
しかし、これらの方法は様々な事前学習戦略における一般化性の欠如に悩まされている。
近年,任意の事前学習戦略に対して,入力グラフの特徴空間内で機能する簡易なプロンプトチューニング法が設計されている。
これにより、任意の種類のプロンプト関数を理論的にエミュレートし、様々な下流アプリケーションに対してその汎用性を著しく向上させることができる。
しかし、そのような単純なプロンプトがグラフに見られる複雑な文脈を完全に把握する能力は未解決の問題であり、さらなる調査が必要となる。
この課題に対処するため,本稿では,サブグラフ内の詳細なコンテキストに着目した,サブグラフレベルのユニバーサルプロンプトチューニング(SUPT)アプローチを提案する。
SUPTでは、プロンプト機能はサブグラフレベルに割り当てられ、メソッドの普遍性を保存する。
これは微調整ベースの手法よりも非常に少ないチューニングパラメータを必要とし、45のフルショットシナリオ実験のうち42の精度で平均2.5%以上改善されている。
少数のシナリオでは、45の実験のうち41回に上り、6.6%以上の平均的なパフォーマンス向上を達成した。
関連論文リスト
- Sparse is Enough in Fine-tuning Pre-trained Large Language Model [105.63770797908127]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - Re-parameterized Low-rank Prompt: Generalize a Vision-Language Model
within 0.5K Parameters [75.28536311904489]
そこで我々は,RLP(Re- parameterized Low-rank Prompt)という新しいタイプのプロンプトを開発した。
11データセットを超える一連のタスクにおいて、RLPは0.5Kパラメータだけで古典的なプロンプトチューニングの平均下流精度を最大5.25%向上させる。
論文 参考訳(メタデータ) (2023-12-17T20:42:43Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Split-Boost Neural Networks [1.1549572298362787]
本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。
このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。
提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
論文 参考訳(メタデータ) (2023-09-06T17:08:57Z) - Gradient-Regulated Meta-Prompt Learning for Generalizable
Vision-Language Models [137.74524357614285]
グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。
パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。
GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
論文 参考訳(メタデータ) (2023-03-12T05:03:37Z) - SGL-PT: A Strong Graph Learner with Graph Prompt Tuning [36.650472660276]
そこで我々は,SGL-PTという新しいフレームワークを提案し,学習戦略であるPre-train, Prompt, Predict'に従う。
具体的には、生成的かつコントラスト的な自己教師付きグラフ学習の相補的メリットを得られるSGLと呼ばれる、強力で普遍的な事前学習タスクを提起する。
また, グラフ分類タスクを目標として, 事前学習と微調整を統一し, 従来のテキストタスクと同様の形式で下流タスクを再構成する, 新たな動詞フリープロンプト関数を設計する。
論文 参考訳(メタデータ) (2023-02-24T04:31:18Z) - Universal Prompt Tuning for Graph Neural Networks [10.997705667435053]
我々は,任意の事前学習戦略の下で,事前学習したGNNモデルに対して,GPF(Graph Prompt Feature)と呼ばれる普遍的なプロンプトベースのチューニング手法を提案する。
GPFは入力グラフの特徴空間上で動作し、理論的には任意の形式のプロンプト関数に等価な効果を達成できる。
本手法は,事前学習戦略を応用したモデルに適用した場合,既存の特殊プロンプトベースのチューニング手法よりも大幅に優れる。
論文 参考訳(メタデータ) (2022-09-30T05:19:27Z) - Generalizing Interactive Backpropagating Refinement for Dense Prediction [0.0]
本稿では,G-BRSレイヤの集合を導入し,グローバル・ローカライズド・リファインメントとローカライズド・リファインメントの両立を可能にした。
提案手法は,数クリックで既存の事前訓練された最先端モデルの性能を向上する。
論文 参考訳(メタデータ) (2021-12-21T03:52:08Z) - Deep Gaussian Processes for Few-Shot Segmentation [66.08463078545306]
少数ショットのセグメンテーションは難しい作業であり、いくつかの注釈付きサンプルから一般化可能な表現を抽出する必要がある。
ガウス過程(GP)回帰に基づく数ショット学習者定式化を提案する。
PASCAL-5i と COCO-20i では mIoU スコアが68.1 と 49.8 である。
論文 参考訳(メタデータ) (2021-03-30T17:56:32Z) - Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。
本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2020-04-13T10:47:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。