論文の概要: Multi-Task Pre-Training of Modular Prompt for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2210.07565v1
• Date: Fri, 14 Oct 2022 06:43:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 16:24:14.998731
• Title: Multi-Task Pre-Training of Modular Prompt for Few-Shot Learning
• Title（参考訳）: ファウショット学習のためのモジュール型プロンプトのマルチタスク事前学習
• Authors: Tianxiang Sun, Zhengfu He, Qin Zhu, Xipeng Qiu, Xuanjing Huang
• Abstract要約: 本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 83.10861551885321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt tuning is a parameter-efficient approach to adapting pre-trained language models to downstream tasks. Although prompt tuning has been shown to match the performance of full model tuning when training data is sufficient, it tends to struggle in few-shot learning settings. In this paper, we present Multi-task Pre-trained Modular Prompt (MP2) to boost prompt tuning for few-shot learning. MP2 is a set of combinable prompts pre-trained on 38 Chinese tasks. On downstream tasks, the pre-trained prompts are selectively activated and combined, leading to strong compositional generalization to unseen tasks. To bridge the gap between pre-training and fine-tuning, we formulate upstream and downstream tasks into a unified machine reading comprehension task. Extensive experiments under two learning paradigms, i.e., gradient descent and black-box tuning, show that MP2 significantly outperforms prompt tuning, full model tuning, and prior prompt pre-training methods in few-shot settings. In addition, we demonstrate that MP2 can achieve surprisingly fast and strong adaptation to downstream tasks by merely learning 8 parameters to combine the pre-trained modular prompts.
• Abstract（参考訳）: プロンプトチューニングは、学習済み言語モデルを下流タスクに適応させるためのパラメータ効率の高いアプローチである。 プロンプトチューニングは、トレーニングデータが十分である場合、フルモデルのチューニングのパフォーマンスに合致することが示されているが、少数の学習設定では苦労する傾向がある。 本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 下流タスクでは、事前訓練されたプロンプトは選択的に活性化され、結合され、目に見えないタスクに強い構成的一般化をもたらす。 事前学習と微調整のギャップを埋めるため、上流タスクと下流タスクを統一機械読み取り理解タスクに定式化する。 2つの学習パラダイム、すなわち勾配降下とブラックボックスチューニングの下での広範囲な実験は、MP2がプロンプトチューニング、フルモデルチューニング、事前プロンプト事前訓練を数ショット設定で大幅に上回っていることを示している。 さらに,事前学習されたモジュールプロンプトを組み合わせるために8つのパラメータを学習するだけで,mp2が驚くほど高速かつ強い下流タスク適応を達成できることを実証する。

関連論文リスト

• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
  マルチタスク・プロンプト・チューニング(MPT)を提案する。 MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。 次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
  論文  参考訳（メタデータ） (2023-03-06T03:25:59Z)
• SpeechPrompt v2: Prompt Tuning for Speech Classification Tasks [94.30385972442387]
  本稿では,多種多様な音声分類タスクを実行できるプロンプトチューニングフレームワークであるSpeechPrompt v2を提案する。 実験の結果、SpeechPrompt v2は0.15M未満のトレーニング可能なパラメータを持つ以前の作業と同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-03-01T18:47:41Z)
• Continued Pretraining for Better Zero- and Few-Shot Promptability [44.381944544918014]
  マルチタスク学習中にトレーニング可能なプロンプトを組み込んだ簡単な事前学習により,ゼロショットと少数ショットの両方でプロンプト性が向上することを示す。 一方,MAML方式のメタラーニングによる事前学習は,プロンプトの少ないプロンプト性を直接最適化する手法であり,サブパー性能が向上する。
  論文  参考訳（メタデータ） (2022-10-19T02:41:51Z)
• Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
  我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
  論文  参考訳（メタデータ） (2022-08-04T08:56:38Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning [39.53513975439818]
  継続的な学習は、1つのモデルが破滅的な忘れをせずに一連のタスクを学習できるようにすることを目的としている。 我々はDualPromptを提案する。これはプロンプトと呼ばれる小さなパラメータ集合を学習し、訓練済みのモデルに逐次到着するタスクを学習するように指示する。 大規模な実験的検証によって、DualPromptは、挑戦的なクラスインクリメンタルな設定の下で、常に最先端のパフォーマンスを設定できる。
  論文  参考訳（メタデータ） (2022-04-10T23:36:55Z)
• PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
  事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
  論文  参考訳（メタデータ） (2021-09-09T15:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。