論文の概要: Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning

• arxiv url: http://arxiv.org/abs/2303.02861v1
• Date: Mon, 6 Mar 2023 03:25:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 17:32:00.201677
• Title: Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning
• Title（参考訳）: パラメータ効率のよい転送学習を可能にするマルチタスクプロンプトチューニング
• Authors: Zhen Wang, Rameswar Panda, Leonid Karlinsky, Rogerio Feris, Huan Sun, Yoon Kim
• Abstract要約: マルチタスク・プロンプト・チューニング(MPT)を提案する。 MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。 次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
• 参考スコア（独自算出の注目度）: 43.639430661322585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning, in which a base pretrained model is adapted to each task via conditioning on learned prompt vectors, has emerged as a promising approach for efficiently adapting large language models to multiple downstream tasks. However, existing methods typically learn soft prompt vectors from scratch, and it has not been clear how to exploit the rich cross-task knowledge with prompt vectors in a multitask learning setting. We propose multitask prompt tuning (MPT), which first learns a single transferable prompt by distilling knowledge from multiple task-specific source prompts. We then learn multiplicative low rank updates to this shared prompt to efficiently adapt it to each downstream target task. Extensive experiments on 23 NLP datasets demonstrate that our proposed approach outperforms the state-of-the-art methods, including the full finetuning baseline in some cases, despite only tuning 0.035% as many task-specific parameters.
• Abstract（参考訳）: 学習したプロンプトベクトルを条件付けして各タスクにベース事前学習モデルを適用するプロンプトチューニングは,大規模言語モデルを複数の下流タスクに効率的に適応するための有望なアプローチとして登場した。 しかし、既存の手法は一般にゼロからソフトプロンプトベクトルを学習し、マルチタスク学習環境において、リッチなクロスタスク知識をプロンプトベクトルで活用する方法は明らかになっていない。 本稿では、まず複数のタスク固有のソースプロンプトから知識を抽出し、単一の転送可能なプロンプトを学習するマルチタスクプロンプトチューニング(MPT)を提案する。 次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。 提案手法は,タスク固有のパラメータの0.035%のチューニングしか行わないにも関わらず,いくつかのケースにおいて,完全な微調整ベースラインを含む最先端の手法よりも優れていることを示す。

関連論文リスト

• Bayesian Multi-Task Transfer Learning for Soft Prompt Tuning [44.43258626098661]
  我々は、ソースタスクからトレーニングソースプロンプトを介して知識を抽出する場合、ソースタスク間の相関を考慮し、ターゲットタスクへのより良い転送を行う必要があると論じる。 本稿では,ソースタスク間のプロンプトの後方分布を扱うベイズ的手法を提案する。 ベイジアンマルチタスク変換学習手法は,多くの環境において最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-13T16:57:02Z)
• TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification [37.824031151922604]
  そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。 類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。 遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T04:16:57Z)
• Multitask Vision-Language Prompt Tuning [103.5967011236282]
  マルチタスク視覚言語プロンプトチューニング(MV)を提案する。 MVはクロスタスクの知識を視覚言語モデルの迅速なチューニングに取り入れている。 20個の視覚タスクの結果、提案手法は全ての単一タスクのベースライン・プロンプト・チューニング法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-21T18:41:44Z)
• Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning [83.10861551885321]
  本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:43:42Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer [7.2462572989580405]
  本稿では,SPoT: Soft Prompt Transferと呼ばれる新しいプロンプトベーストランスファー学習手法を提案する。 SPoTは多くのタスクでPromptTuningの性能を大幅に向上させることを示す。 また,26のNLPタスクと160のソース・ターゲットタスクを組み合わせたタスク転送性についても大規模に検討した。
  論文  参考訳（メタデータ） (2021-10-15T07:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。