Fugu-MT 論文翻訳(概要): Prototypical Verbalizer for Prompt-based Few-shot Tuning

論文の概要: Prototypical Verbalizer for Prompt-based Few-shot Tuning

arxiv url: http://arxiv.org/abs/2203.09770v1
Date: Fri, 18 Mar 2022 07:07:56 GMT
ステータス: 処理完了
システム内更新日: 2022-03-21 23:44:57.256106
Title: Prototypical Verbalizer for Prompt-based Few-shot Tuning
Title（参考訳）: Prototypeal Verbalizer for Prompt-based Few-shot Tuning
Authors: Ganqu Cui, Shengding Hu, Ning Ding, Longtao Huang, Zhiyuan Liu
Abstract要約: 本稿では,学習データから直接構築した動詞化器(ProtoVerb)を提案する。 ProtoVerbは、比較学習によりプロトタイプベクトルを原型動詞化子として学習する。トピック分類とエンティティ型付けの両方の実験を行い、その結果、ProtoVerbが現在の自動動詞処理よりも大幅に優れていることを示した。
参考スコア（独自算出の注目度）: 32.74024339482436
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Prompt-based tuning for pre-trained language models (PLMs) has shown its effectiveness in few-shot learning. Typically, prompt-based tuning wraps the input text into a cloze question. To make predictions, the model maps the output words to labels via a verbalizer, which is either manually designed or automatically built. However, manual verbalizers heavily depend on domain-specific prior knowledge and human efforts, while finding appropriate label words automatically still remains challenging.In this work, we propose the prototypical verbalizer (ProtoVerb) which is built directly from training data. Specifically, ProtoVerb learns prototype vectors as verbalizers by contrastive learning. In this way, the prototypes summarize training instances and are able to enclose rich class-level semantics. We conduct experiments on both topic classification and entity typing tasks, and the results demonstrate that ProtoVerb significantly outperforms current automatic verbalizers, especially when training data is extremely scarce. More surprisingly, ProtoVerb consistently boosts prompt-based tuning even on untuned PLMs, indicating an elegant non-tuning way to utilize PLMs. Our codes are avaliable at https://github.com/thunlp/OpenPrompt.
Abstract（参考訳）: プレトレーニング言語モデル(PLM)のプロンプトに基づくチューニングは、その効果を数発の学習で示している。通常、プロンプトベースのチューニングは入力テキストをクローズ質問にラップする。予測を行うために、モデルは出力された単語をラベルに、手動で設計または自動構築される動詞化器を介してマッピングする。しかし,本論文では,学習データから直接構築される原型動詞(ProtoVerb)について,ドメイン固有の事前知識と人的努力に大きく依存する一方で,適切なラベル語を自動的に見つけることは依然として困難である。具体的には、protoverbはコントラスト学習によってプロトタイプベクトルを動詞化子として学習する。このように、プロトタイプはトレーニングインスタンスを要約し、リッチなクラスレベルのセマンティクスを囲むことができる。トピック分類とエンティティ型付けの両タスクについて実験を行い、特にトレーニングデータが極めて少ない場合、ProtoVerbが現在の自動動詞処理器を著しく上回っていることを示す。さらに驚くべきことに、ProtoVerbは、未チューニングのPLMでもプロンプトベースのチューニングを一貫して強化し、PLMを利用するエレガントな非チューニング方法を示している。私たちのコードはhttps://github.com/thunlp/OpenPrompt.comで有効です。

関連論文リスト

Evolutionary Verbalizer Search for Prompt-based Few Shot Text Classification [5.583948835737293]
提案手法は,提案手法を改良した新しい進化型動詞処理アルゴリズムであるEVSを提案する。本稿では,最適な動詞処理器を自動構築することに集中し,高速な動詞処理器を用いたプロンプトベースチューニングを改善するための新しいEVSアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-18T10:03:11Z)
Assessing Phrase Break of ESL Speech with Pre-trained Language Models and Large Language Models [7.782346535009883]
本研究では,事前学習言語モデル (PLM) と大規模言語モデル (LLM) を用いて,ESL学習者の音声における句分割の評価手法を提案する。
論文参考訳（メタデータ） (2023-06-08T07:10:39Z)
Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
論文参考訳（メタデータ） (2022-05-23T10:11:50Z)
PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners [15.130992223266734]
本稿では,データ拡張のためのラベルの豊富なセマンティック情報を利用する新しいラベル誘導型データ拡張フレームワークであるPromptDAを提案する。本研究は, 提案フレームワークの優れた性能を示すために, テキスト分類タスクを数ショットで行う実験である。
論文参考訳（メタデータ） (2022-05-18T22:15:20Z)
Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
論文参考訳（メタデータ） (2022-05-02T17:59:02Z)
ProtoTEx: Explaining Model Decisions with Prototype Tensors [27.779971257213553]
ProtoTExは、プロトタイプネットワークに基づく新しいホワイトボックスのNLP分類アーキテクチャである。本稿では,表現的特徴の欠如を特徴とするクラスを効果的に扱う新しいインターリーブ学習アルゴリズムについて述べる。プロパガンダ検出タスクでは、ProtoTExの精度はBART-largeと一致し、BERT-largeを超える。
論文参考訳（メタデータ） (2022-04-11T22:08:45Z)
PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
論文参考訳（メタデータ） (2022-04-03T22:31:25Z)
Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer [12.596033546002321]
本稿では,事前学習された言語モデルから知識を抽出することに集中し,プロンプト学習のためのプロトタイプなプロンプト動詞化手法を提案する。ゼロショット設定では、知識は事前訓練された言語モデルから手動で設計され、初期プロトタイプの埋め込みを形成する。数ショット設定では、モデルは有意義で解釈可能なプロトタイプの埋め込みを学ぶように調整される。
論文参考訳（メタデータ） (2022-01-14T12:04:37Z)
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
論文参考訳（メタデータ） (2021-08-04T13:00:16Z)
PTR: Prompt Tuning with Rules for Text Classification [64.1655047016891]
微調整された事前学習言語モデル(PLM)は、ほぼすべてのNLPタスクで素晴らしいパフォーマンスを実現している。我々は,多クラステキスト分類のためのルール(PTR)による即時チューニングを提案する。 PTRは、各クラスの事前知識を即時チューニングにエンコードすることができる。
論文参考訳（メタデータ） (2021-05-24T13:24:02Z)
Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。