論文の概要: AdaPrompt: Adaptive Model Training for Prompt-based NLP

• arxiv url: http://arxiv.org/abs/2202.04824v1
• Date: Thu, 10 Feb 2022 04:04:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-12 04:54:22.621507
• Title: AdaPrompt: Adaptive Model Training for Prompt-based NLP
• Title（参考訳）: AdaPrompt: PromptベースのNLPのための適応モデルトレーニング
• Authors: Yulong Chen, Yang Liu, Li Dong, Shuohang Wang, Chenguang Zhu, Michael Zeng and Yue Zhang
• Abstract要約: PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
• 参考スコア（独自算出の注目度）: 77.12071707955889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt-based learning, with its capability to tackle zero-shot and few-shot NLP tasks, has gained much attention in community. The main idea is to bridge the gap between NLP downstream tasks and language modeling (LM), by mapping these tasks into natural language prompts, which are then filled by pre-trained language models (PLMs). However, for prompt learning, there are still two salient gaps between NLP tasks and pretraining. First, prompt information is not necessarily sufficiently present during LM pretraining. Second, task-specific data are not necessarily well represented during pretraining. We address these two issues by proposing AdaPrompt, adaptively retrieving external data for continual pretraining of PLMs by making use of both task and prompt characteristics. In addition, we make use of knowledge in Natural Language Inference models for deriving adaptive verbalizers. Experimental results on five NLP benchmarks show that AdaPrompt can improve over standard PLMs in few-shot settings. In addition, in zero-shot settings, our method outperforms standard prompt-based methods by up to 26.35\% relative error reduction.
• Abstract（参考訳）: ゼロショットや少数ショットのNLPタスクに対処できるプロンプトベースの学習は、コミュニティで注目を集めている。 主なアイデアは、これらのタスクを自然言語プロンプトにマッピングすることで、NLPダウンストリームタスクと言語モデリング(LM)のギャップを埋めることである。 しかし、素早い学習には、NLPタスクと事前学習の間にはまだ2つの相応しいギャップがある。 第一に、LM事前訓練中に即時情報が存在するとは限らない。 第二に、タスク固有のデータは事前トレーニング中に必ずしも適切に表現されない。 AdaPromptを提案することにより、これらの2つの課題に対処し、PLMの継続事前学習のための外部データを取得する。 また,自然言語推論モデルにおいて,適応型動詞の導出に知識を利用する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 さらに、ゼロショット設定では、標準プロンプトベースのメソッドを最大26.35\%のエラー低減で上回る。

関連論文リスト

• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
  最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:11:50Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• Generating Training Data with Language Models: Towards Zero-Shot Language Understanding [35.92571138322246]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 NLUタスクのゼロショット学習に両タイプのPLMを用いる簡単な手法を提案する。 提案手法は,GLUEベンチマークの7つの分類タスクに対して高い性能を示す。
  論文  参考訳（メタデータ） (2022-02-09T16:02:18Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• Task-specific Objectives of Pre-trained Language Models for Dialogue Adaptation [79.0866650271659]
  PrLMを利用する一般的なプロセスは、まずタスク非依存のLMトレーニング目標を持つ大規模汎用コーパス上で事前トレーニングを行い、タスク固有のトレーニング目標を持つタスクデータセットを微調整する。 タスク固有の目的を持つドメイン内タスク関連コーパスにタスク固有の事前学習を導入する。 この手順は、特定のタスクのモデル理解能力を高めるために、元の2つのステージの間に置かれる。
  論文  参考訳（メタデータ） (2020-09-10T16:46:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。