論文の概要: PPT: Pre-trained Prompt Tuning for Few-shot Learning

• arxiv url: http://arxiv.org/abs/2109.04332v1
• Date: Thu, 9 Sep 2021 15:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 19:22:34.886262
• Title: PPT: Pre-trained Prompt Tuning for Few-shot Learning
• Title（参考訳）: PPT: 初歩学習のための事前訓練型プロンプトチューニング
• Authors: Yuxian Gu, Xu Han, Zhiyuan Liu, Minlie Huang
• Abstract要約: 事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
• 参考スコア（独自算出の注目度）: 47.05554619258627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompts for pre-trained language models (PLMs) have shown remarkable performance by bridging the gap between pre-training tasks and various downstream tasks. Among these methods, prompt tuning, which freezes PLMs and only tunes soft prompts, provides an efficient and effective solution for adapting large-scale PLMs to downstream tasks. However, prompt tuning is yet to be fully explored. In our pilot experiments, we find that prompt tuning performs comparably with conventional full-model fine-tuning when downstream data are sufficient, whereas it performs much worse under few-shot learning settings, which may hinder the application of prompt tuning in practice. We attribute this low performance to the manner of initializing soft prompts. Therefore, in this work, we propose to pre-train prompts by adding soft prompts into the pre-training stage to obtain a better initialization. We name this Pre-trained Prompt Tuning framework "PPT". To ensure the generalization of PPT, we formulate similar classification tasks into a unified task form and pre-train soft prompts for this unified task. Extensive experiments show that tuning pre-trained prompts for downstream tasks can reach or even outperform full-model fine-tuning under both full-data and few-shot settings. Our approach is effective and efficient for using large-scale PLMs in practice.
• Abstract（参考訳）: 事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 しかし、プロンプトチューニングはまだ完全には検討されていない。 実験では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られたが,数ショットの学習環境では処理が大幅に悪化し,実行時のプロンプトチューニングの応用が妨げられる可能性が示唆された。 この低い性能は、ソフトプロンプトを初期化する方法に起因する。 そこで本研究では,事前学習段階にソフトプロンプトを付加することにより,より優れた初期化を実現することを提案する。 トレーニング済みの Prompt Tuning フレームワーク "PPT" と名付けます。 PPTの一般化を確実にするために、類似の分類タスクを統一タスク形式に定式化し、この統一タスクに対する事前訓練ソフトプロンプトを作成する。 大規模な実験では、ダウンストリームタスクのための事前訓練されたプロンプトのチューニングが、フルデータと数ショット設定の両方でフルモデルの微調整に到達したり、性能を向上する可能性がある。 本手法は大規模PLMの実用化に有効かつ効果的である。

関連論文リスト

• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Improving Prompt Tuning with Learned Prompting Layers [12.46460062708119]
  我々は、新しいフレームワーク、 UnderlineSelective UnderlinePrompt UnderlineTuning (SPT)を提案する。 学習可能な確率ゲートによって制御されるプロンプトを各中間層に挿入することで、適切なプロンプト層を選択することを学ぶ。 フルデータと数ショットのシナリオの下で、10のベンチマークデータセットで広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-31T02:07:51Z)
• Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts [97.20933523766182]
  プロンプトチューニングは、事前訓練モデル(PTM)を利用するためのパラメータ効率チューニング(PETuning)手法である 我々は、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLatlas Prompt Tuning()を提案する。 フルデータおよび少数ショットの両方のシナリオで、フルモデルチューニングや他のPETuningメソッドと競合する性能を実現できることを示す。
  論文  参考訳（メタデータ） (2022-10-20T14:23:52Z)
• Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning [83.10861551885321]
  本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:43:42Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。