論文の概要: Continued Pretraining for Better Zero- and Few-Shot Promptability

• arxiv url: http://arxiv.org/abs/2210.10258v1
• Date: Wed, 19 Oct 2022 02:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 14:01:14.286129
• Title: Continued Pretraining for Better Zero- and Few-Shot Promptability
• Title（参考訳）: ゼロショットおよびマイショットプロンサビリティ向上のための継続的事前トレーニング
• Authors: Zhaofeng Wu, Robert L. Logan IV, Pete Walsh, Akshita Bhagia, Dirk Groeneveld, Sameer Singh, Iz Beltagy
• Abstract要約: マルチタスク学習中にトレーニング可能なプロンプトを組み込んだ簡単な事前学習により,ゼロショットと少数ショットの両方でプロンプト性が向上することを示す。 一方,MAML方式のメタラーニングによる事前学習は,プロンプトの少ないプロンプト性を直接最適化する手法であり,サブパー性能が向上する。
• 参考スコア（独自算出の注目度）: 44.381944544918014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently introduced language model prompting methods can achieve high accuracy in zero- and few-shot settings while requiring few to no learned task-specific parameters. Nevertheless, these methods still often trail behind full model finetuning. In this work, we investigate if a dedicated continued pretraining stage could improve "promptability", i.e., zero-shot performance with natural language prompts or few-shot performance with prompt tuning. We reveal settings where existing continued pretraining methods lack promptability. We also identify current methodological gaps, which we fill with thorough large-scale experiments. We demonstrate that a simple recipe, continued pretraining that incorporates a trainable prompt during multi-task learning, leads to improved promptability in both zero- and few-shot settings compared to existing methods, up to 31% relative. On the other hand, we find that continued pretraining using MAML-style meta-learning, a method that directly optimizes few-shot promptability, yields subpar performance. We validate our findings with two prompt tuning methods, and, based on our results, we provide concrete recommendations to optimize promptability for different use cases.
• Abstract（参考訳）: 最近導入された言語モデルプロンプト手法は、学習されたタスク固有のパラメータをほとんど必要とせず、ゼロおよび少数ショット設定で高い精度を達成することができる。 しかしながら、これらの手法はフルモデルファインタニングに追随することが多い。 本研究は,継続事前学習の段階が,自然言語プロンプトによるゼロショット性能や,プロンプトチューニングによる少数ショット性能などの「プロンプタビリティ」を向上するかどうかを考察する。 既存の継続事前学習手法が即時性に欠ける設定を明らかにする。 また, 大規模実験で満たした現在の方法論的ギャップを同定する。 マルチタスク学習中にトレーニング可能なプロンプトを組み込んだ簡易な事前学習が,既存の手法と比較してゼロおよび少数ショット設定のプロンプト性を最大31%向上させることを実証した。 一方,MAML方式のメタ学習を用いた事前学習は,プロンプトの少ないプロンプト性を直接最適化し,サブパー性能を向上する。 提案手法を2つのプロンプトチューニング手法で検証し,その結果に基づいて,異なるユースケースに対するプロンプトビリティを最適化するための具体的な推奨事項を提供する。

関連論文リスト

• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• Progressive Prompts: Continual Learning for Language Models [38.80713056417491]
  言語モデルにおける継続学習のためのシンプルで効率的なアプローチであるProgressive Promptsを紹介します。 プログレッシブ・プロンプト(Progressive Prompts)はタスクごとに新しいソフト・プロンプトを学習し、事前に学習したプロンプトで順次抵抗する。 標準連続学習ベンチマークの実験は、我々のアプローチが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-01-29T00:17:38Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning [83.10861551885321]
  本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:43:42Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning [39.53513975439818]
  継続的な学習は、1つのモデルが破滅的な忘れをせずに一連のタスクを学習できるようにすることを目的としている。 我々はDualPromptを提案する。これはプロンプトと呼ばれる小さなパラメータ集合を学習し、訓練済みのモデルに逐次到着するタスクを学習するように指示する。 大規模な実験的検証によって、DualPromptは、挑戦的なクラスインクリメンタルな設定の下で、常に最先端のパフォーマンスを設定できる。
  論文  参考訳（メタデータ） (2022-04-10T23:36:55Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• PPT: Pre-trained Prompt Tuning for Few-shot Learning [47.05554619258627]
  事前学習された言語モデル(PLM)のプロンプトは、事前学習タスクと様々な下流タスクのギャップを埋めることで、顕著な性能を示している。 これらの手法のうち、PLMを凍結し、ソフトプロンプトのみをチューニングするプロンプトチューニングは、大規模PLMを下流タスクに適用するための効率的かつ効果的なソリューションを提供する。 本研究では,下流データで十分である場合,従来のフルモデルファインチューニングと相容れない性能が得られた。
  論文  参考訳（メタデータ） (2021-09-09T15:11:04Z)
• Making Pre-trained Language Models Better Few-shot Learners [11.90626040104822]
  最近のGPT-3モデルは、自然言語プロンプトといくつかのタスクデモンストレーションを入力コンテキストとして活用することで、驚くべき数ショットパフォーマンスを実現します。 これらの知見に触発されて,より実用的なシナリオで,微調整が計算効率のよい小型言語モデルを用いて,小数点学習の研究を行った。 LM-BFF - 少数の注釈付き例で、言語モデルの微調整のためのシンプルで補完的な技術のスイート - 言語モデルのより良い少数ショット微調整を提示します。
  論文  参考訳（メタデータ） (2020-12-31T17:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。