論文の概要: Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts

• arxiv url: http://arxiv.org/abs/2210.11292v1
• Date: Thu, 20 Oct 2022 14:23:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 14:32:08.720524
• Title: Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts
• Title（参考訳）: 遅いプロンプトチューニング:遅いプロンプトは多くのプロンプトより良いかもしれない
• Authors: Xiangyang Liu, Tianxiang Sun, Xuanjing Huang, Xipeng Qiu
• Abstract要約: プロンプトチューニングは、事前訓練モデル(PTM)を利用するためのパラメータ効率チューニング(PETuning)手法である 我々は、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLatlas Prompt Tuning()を提案する。 フルデータおよび少数ショットの両方のシナリオで、フルモデルチューニングや他のPETuningメソッドと競合する性能を実現できることを示す。
• 参考スコア（独自算出の注目度）: 97.20933523766182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning is a parameter-efficient tuning (PETuning) method for utilizing pre-trained models (PTMs) that simply prepends a soft prompt to the input and only optimizes the prompt to adapt PTMs to downstream tasks. Although it is parameter- and deployment-efficient, its performance still lags behind other state-of-the-art PETuning methods. Besides, the training cost of prompt tuning is not significantly reduced due to the back-propagation through the entire model. Through empirical analyses, we shed some light on the lagging performance of prompt tuning and recognize a trade-off between the propagation distance from label signals to the inserted prompt and the influence of the prompt on model outputs. Further, we present Late Prompt Tuning (LPT) that inserts a late prompt into an intermediate layer of the PTM instead of the input layer or all layers. The late prompt is obtained by a neural prompt generator conditioned on the hidden states before the prompt insertion layer and therefore is instance-dependent. Through extensive experimental results across various tasks and PTMs, we show that LPT can achieve competitive performance to full model tuning and other PETuning methods under both full-data and few-shot scenarios while possessing faster training speed and lower memory cost.
• Abstract（参考訳）: プロンプトチューニング(英: Prompt tuning)は、入力にソフトプロンプトをプリペイドし、下流タスクにPTMを適用するプロンプトのみを最適化する、事前訓練されたモデル(PTM)を利用するためのパラメータ効率のよいチューニング(PETuning)手法である。 パラメータとデプロイメント効率は高いが、パフォーマンスは他の最先端のペチュニングメソッドに及ばない。 また、モデル全体のバックプロパゲーションのため、プロンプトチューニングのトレーニングコストは大幅に削減されない。 実験的な解析により,ラベル信号から挿入されたプロンプトへの伝搬距離とモデル出力に対するプロンプトの影響のトレードオフを認識するために,プロンプトチューニングの遅延性能に光を当てた。 さらに、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLate Prompt Tuning(LPT)を提案する。 遅延プロンプトは、プロンプト挿入層の前に隠された状態に条件付けされたニューラルプロンプト発生器によって得られ、したがってインスタンス依存である。 各種タスクや PTM にまたがる広範な実験結果から,LPT は訓練速度の高速化とメモリコストの低減を図りながら,フルモデルチューニングや他のPETuning 手法と競合する性能を実現することができることを示した。

関連論文リスト

• Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained Models for Spatiotemporal Modeling [32.603558214472265]
  本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。 APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。 提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:41Z)
• Improving Prompt Tuning with Learned Prompting Layers [12.46460062708119]
  我々は、新しいフレームワーク、 UnderlineSelective UnderlinePrompt UnderlineTuning (SPT)を提案する。 学習可能な確率ゲートによって制御されるプロンプトを各中間層に挿入することで、適切なプロンプト層を選択することを学ぶ。 フルデータと数ショットのシナリオの下で、10のベンチマークデータセットで広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-31T02:07:51Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• FPT: Improving Prompt Tuning Efficiency via Progressive Training [84.25195519945215]
  本稿では,即時チューニングの訓練効率を向上させるために,Fast Prompt Tuningを提案する。 我々は、FPTが30%以上のトレーニング計算を節約し、同等のパフォーマンスを実現することを示した。
  論文  参考訳（メタデータ） (2022-11-13T08:00:29Z)
• XPrompt: Exploring the Extreme of Prompt Tuning [31.242680485717447]
  本稿では,宝くじの仮説の下で,eXtremely small scale (XPrompt) を用いた新しいPromptチューニングモデルを提案する。 XPromptは階層的な構造化プルーニングによって異なるレベルの負のプロンプトトークンを排除し、よりパラメータ効率のよいプロンプトを競合性能で得る。
  論文  参考訳（メタデータ） (2022-10-10T06:57:19Z)
• STT: Soft Template Tuning for Few-Shot Adaptation [72.46535261444151]
  我々は、Soft Template Tuning (STT)と呼ばれる新しいプロンプトチューニングフレームワークを提案する。 STTは手動と自動プロンプトを組み合わせて、下流の分類タスクをマスキング言語モデリングタスクとして扱う。 さらに、感情分類タスクにおいて、時間とリソースを消費する微調整方法よりも優れています。
  論文  参考訳（メタデータ） (2022-07-18T07:07:22Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
  事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
  論文  参考訳（メタデータ） (2021-09-09T15:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。