論文の概要: PromptDA: Label-guided Data Augmentation for Prompt-based Few Shot Learners

• arxiv url: http://arxiv.org/abs/2205.09229v1
• Date: Wed, 18 May 2022 22:15:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-21 09:21:21.132287
• Title: PromptDA: Label-guided Data Augmentation for Prompt-based Few Shot Learners
• Title（参考訳）: PromptDA: Prompt-based Few Shot Learnersのためのラベル誘導型データ拡張
• Authors: Canyu Chen, Kai Shu
• Abstract要約: そこで本研究では,素早いショット学習者を対象に,データ強化の新たな課題について検討する。 ラベルセマンティクスはプロンプトベースのチューニングに役立つため,新しいラベル誘導型データ拡張手法であるPromptDAを提案する。
• 参考スコア（独自算出の注目度）: 15.130992223266734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances on large pre-trained language models (PLMs) lead impressive gains on natural language understanding (NLU) tasks with task-specific fine-tuning. However, direct fine-tuning PLMs heavily relies on large amount of labeled instances, which are expensive and time-consuming to obtain. Prompt-based tuning on PLMs has proven valuable for few shot tasks. Existing works studying prompt-based tuning for few-shot NLU mainly focus on deriving proper label words with a verbalizer or generating prompt templates for eliciting semantics from PLMs. In addition, conventional data augmentation methods have also been verified useful for few-shot tasks. However, there currently are few data augmentation methods designed for the prompt-based tuning paradigm. Therefore, we study a new problem of data augmentation for prompt-based few shot learners. Since label semantics are helpful in prompt-based tuning, we propose a novel label-guided data augmentation method PromptDA which exploits the enriched label semantic information for data augmentation. Experimental results on several few shot text classification tasks show that our proposed framework achieves superior performance by effectively leveraging label semantics and data augmentation in language understanding.
• Abstract（参考訳）: 大規模事前学習型言語モデル(PLM)の最近の進歩は、タスク固有の微調整を伴う自然言語理解(NLU)タスクに顕著な進歩をもたらした。 しかし、直接の微調整plmは大量のラベル付きインスタンスに大きく依存しており、それらは高価で時間を要する。 PLMのプロンプトベースのチューニングは、少数のショットタスクで有用であることが証明されている。 数ショットのNLUのためのプロンプトベースチューニングの研究は、主に適切なラベル語を動詞化したり、PLMから意味を抽出するためのプロンプトテンプレートを生成することに焦点を当てている。 さらに、従来のデータ拡張手法は、少数のタスクで有用であることが確認されている。 しかし、現在、プロンプトベースのチューニングパラダイム用に設計されたデータ拡張メソッドは少ない。 そこで本研究では,素早いショット学習者を対象とした新たなデータ拡張法を提案する。 ラベルセマンティクスはプロンプトベースのチューニングに有効であるため,データ拡張のためにラベルセマンティクス情報を利用する新しいラベル誘導データ拡張手法であるPromptDAを提案する。 いくつかのショットテキスト分類タスクの実験結果から,言語理解においてラベルのセマンティクスとデータ拡張を効果的に活用することにより,提案手法が優れた性能を発揮することが示された。

関連論文リスト

• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Low Resource Pipeline for Spoken Language Understanding via Weak Supervision [5.9901156966011975]
  Weak Supervised Learning (WSL)では、セマンティックルールとタスク固有の事前学習モデルから得られたノイズの多いラベルに基づいてモデルを訓練する。 タスク非依存のプロンプトは一般化可能であり,様々な音声言語理解(SLU)タスクのノイズラベルを得るのに利用できることを示す。 そこで我々は,SLUタスクの信頼ラベルを生成するプロンプトベースの手法を,ラベル付きデータがない場合に,弱教師付きモデル(WSM)を訓練するための普遍的な弱い情報源として利用することができることを示した。
  論文  参考訳（メタデータ） (2022-06-21T17:36:31Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)
• Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
  我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。 我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。 ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-08-04T13:00:16Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。