論文の概要: Learning a Better Initialization for Soft Prompts via Meta-Learning
- arxiv url: http://arxiv.org/abs/2205.12471v1
- Date: Wed, 25 May 2022 03:50:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 13:57:09.237341
- Title: Learning a Better Initialization for Soft Prompts via Meta-Learning
- Title（参考訳）: メタラーニングによるソフトプロンプトのためのより良い初期化の学習
- Authors: Yukun Huang, Kun Qian, Zhou Yu
- Abstract要約: 本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。
まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。
これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
- 参考スコア（独自算出の注目度）: 58.53984967461313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt tuning (PT) is an effective approach to adapting pre-trained language
models to downstream tasks. Without a good initialization, prompt tuning
doesn't perform well under few-shot settings. So pre-trained prompt tuning
(PPT) is proposed to initialize prompts by leveraging pre-training data. We
propose MetaPT (Meta-learned Prompt Tuning) to further improve PPT's
initialization by considering latent structure within the pre-training data.
Specifically, we introduce the structure by first clustering pre-training data
into different auxiliary tasks with unsupervised methods. Then we use these
tasks to pre-train prompts with a meta-learning algorithm. Such a process can
make prompts learn a better initialization by discovering commonalities among
these auxiliary tasks. We evaluate our method on seven downstream tasks. Our
MetaPT achieves better and more stable performance than the state-of-the-art
method.
- Abstract（参考訳）: プロンプトチューニング(pt)は、学習済み言語モデルを下流タスクに適応させるための効果的なアプローチである。
優れた初期化がなければ、プロンプトチューニングは、数ショット設定ではうまく機能しない。
そこで、事前学習データを利用してプロンプトを初期化するために、事前学習プロンプトチューニング(PPT)を提案する。
事前学習データ内の潜在構造を考慮し,PTの初期化を改善するメタPT(Meta-learned Prompt Tuning)を提案する。
具体的には,教師なし手法を用いて事前学習データを異なる補助タスクにクラスタリングすることで,その構造を導入する。
そして、これらのタスクを使ってメタ学習アルゴリズムでプロンプトを事前学習する。
このようなプロセスは、補助的なタスク間の共通点を発見することによって、プロンプトにより良い初期化を学ばせる。
提案手法を7つの下流タスクで評価する。
我々のMetaPTは最先端の手法よりも高性能で安定した性能を実現している。
関連論文リスト
- Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
本研究では,プロンプトとパッチトークンの相互関係について検討した。
プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。
本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
論文 参考訳（メタデータ） (2024-02-04T07:49:02Z) - Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization
for Few-shot Generalization [40.45470744120691]
MEta-gradient regularization for few-shot generalization (SUPMER)による自己改善メタプロンプト学習フレームワーク
本稿では,Meta-gradient regularization for few-shot generalization (SUPMER)を用いた自己改善メタプロンプト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-22T05:04:21Z) - Gradient-Regulated Meta-Prompt Learning for Generalizable
Vision-Language Models [137.74524357614285]
グラディエント・レグルアテッドメタプロンプト学習フレームワークについて紹介する。
パラメーターとデータ -- 効率的な方法で下流タスクにモデルを適応させるのに役立つ。
GRAMはモデルに依存しない方法で様々なプロンプトチューニング手法に容易に組み込むことができる。
論文 参考訳（メタデータ） (2023-03-12T05:03:37Z) - Learning to Initialize: Can Meta Learning Improve Cross-task
Generalization in Prompt Tuning? [37.522581151997734]
タスク毎に追加のトークン列の埋め込みをチューニングするプロンプトチューニング(PT)は、数ショット学習において顕著なパフォーマンスを示している。
我々はメタプロンプト・チューニング(MPT)について研究し、メタ学習が(可能であれば)クロスタスクの一般化にどう役立つかを探る。
論文 参考訳（メタデータ） (2023-02-16T08:37:22Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z) - PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。
これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。
本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
論文 参考訳（メタデータ） (2021-09-09T15:11:04Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳（メタデータ） (2020-04-12T09:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。