論文の概要: Improving Prompt Tuning with Learned Prompting Layers

• arxiv url: http://arxiv.org/abs/2310.20127v1
• Date: Tue, 31 Oct 2023 02:07:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 16:46:15.435766
• Title: Improving Prompt Tuning with Learned Prompting Layers
• Title（参考訳）: 学習プロンプトレイヤによるプロンプトチューニングの改善
• Authors: Wei Zhu and Ming Tan
• Abstract要約: 我々は、新しいフレームワーク、 UnderlineSelective UnderlinePrompt UnderlineTuning (SPT)を提案する。 学習可能な確率ゲートによって制御されるプロンプトを各中間層に挿入することで、適切なプロンプト層を選択することを学ぶ。 フルデータと数ショットのシナリオの下で、10のベンチマークデータセットで広範な実験を行います。
• 参考スコア（独自算出の注目度）: 12.46460062708119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt tuning prepends a soft prompt to the input embeddings or hidden states and only optimizes the prompt to adapt pretrained models (PTMs) to downstream tasks. The previous work manually selects prompt layers which are far from optimal and failed to exploit the potential of prompt tuning. In this work, we propose a novel framework, \underline{S}elective \underline{P}rompt \underline{T}uning (SPT), that learns to select the proper prompt layers by inserting a prompt controlled by a learnable probabilistic gate at each intermediate layer. We further propose a novel bi-level optimization framework, SPT-DARTS, that can better optimize the learnable gates and improve the final prompt tuning performances of the learned prompt layer settings. We conduct extensive experiments with ten benchmark datasets under the full-data and few-shot scenarios. The results demonstrate that our SPT framework can perform better than the previous state-of-the-art PETuning baselines with comparable or fewer tunable parameters.
• Abstract（参考訳）: プロンプトチューニングは入力埋め込みや隠れ状態にソフトプロンプトをプリペイドし、下流タスクに事前訓練されたモデル(PTM)を適用するプロンプトのみを最適化する。 以前の作業では、最適から程遠いプロンプト層を手動で選択し、プロンプトチューニングの可能性を活用できなかった。 本研究では,各中間層に学習可能な確率ゲートで制御されたプロンプトを挿入することにより,適切なプロンプト層を選択することを学習する,新しいフレームワークである \underline{S}elective \underline{P}rompt \underline{T}uning (SPT)を提案する。 さらに、学習可能なゲートを最適化し、学習したプロンプト層設定の最終的なプロンプトチューニング性能を改善するための新しい双方向最適化フレームワークであるSPT-DARTSを提案する。 フルデータと数ショットのシナリオの下で、10のベンチマークデータセットで広範な実験を行います。 その結果,従来のPETuningベースラインと同等あるいは少ないチューニング可能なパラメータで,SPTフレームワークの性能が向上できることが示唆された。

関連論文リスト

• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Global Prompt Cell: A Portable Control Module for Effective Prompt Tuning [16.76984489127912]
  本稿では,GPC(Global Prompt Cell)について紹介する。 実験の結果,バニラプロンプトチューニングと比較して,SuperGLUEデータセットは5.8%改善した。
  論文  参考訳（メタデータ） (2023-04-12T06:46:33Z)
• Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts [97.20933523766182]
  プロンプトチューニングは、事前訓練モデル(PTM)を利用するためのパラメータ効率チューニング(PETuning)手法である 我々は、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLatlas Prompt Tuning()を提案する。 フルデータおよび少数ショットの両方のシナリオで、フルモデルチューニングや他のPETuningメソッドと競合する性能を実現できることを示す。
  論文  参考訳（メタデータ） (2022-10-20T14:23:52Z)
• STT: Soft Template Tuning for Few-Shot Adaptation [72.46535261444151]
  我々は、Soft Template Tuning (STT)と呼ばれる新しいプロンプトチューニングフレームワークを提案する。 STTは手動と自動プロンプトを組み合わせて、下流の分類タスクをマスキング言語モデリングタスクとして扱う。 さらに、感情分類タスクにおいて、時間とリソースを消費する微調整方法よりも優れています。
  論文  参考訳（メタデータ） (2022-07-18T07:07:22Z)
• Learning a Better Initialization for Soft Prompts via Meta-Learning [58.53984967461313]
  本稿では,プロンプトチューニングを改善するメタPT(Meta-learned Prompt Tuning)を提案する。 まず、事前学習したデータを異なる補助タスクにクラスタリングすることで、その構造を導入する。 これらのタスクをメタ学習アルゴリズムでプロンプトの事前学習に使用する。
  論文  参考訳（メタデータ） (2022-05-25T03:50:23Z)
• Structured Prompt Tuning [83.71253868369999]
  入力に調整可能な埋め込み列を前もって予測するのではなく、ハイパーネットワークを通してソフトプロンプト埋め込みを生成する。 我々のアプローチは標準のプロンプトチューニングを仮定し、モデル設計の柔軟性を高め、シングルタスクとマルチタスクの両方のトレーニング設定に適用できる。
  論文  参考訳（メタデータ） (2022-05-24T18:36:34Z)
• PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
  事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
  論文  参考訳（メタデータ） (2021-09-09T15:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。