論文の概要: Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer

• arxiv url: http://arxiv.org/abs/2201.05411v1
• Date: Fri, 14 Jan 2022 12:04:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-17 14:33:09.065153
• Title: Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer
• Title（参考訳）: プロトタイプ・プロンプト・バーバリザのための事前学習言語モデルからの知識の抽出
• Authors: Yinyi Wei, Tong Mo, Yongtao Jiang, Weiping Li, Wen Zhao
• Abstract要約: 本稿では,事前学習された言語モデルから知識を抽出することに集中し,プロンプト学習のためのプロトタイプなプロンプト動詞化手法を提案する。 ゼロショット設定では、知識は事前訓練された言語モデルから手動で設計され、初期プロトタイプの埋め込みを形成する。 数ショット設定では、モデルは有意義で解釈可能なプロトタイプの埋め込みを学ぶように調整される。
• 参考スコア（独自算出の注目度）: 12.596033546002321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances on prompt-tuning cast few-shot classification tasks as a masked language modeling problem. By wrapping input into a template and using a verbalizer which constructs a mapping between label space and label word space, prompt-tuning can achieve excellent results in zero-shot and few-shot scenarios. However, typical prompt-tuning needs a manually designed verbalizer which requires domain expertise and human efforts. And the insufficient label space may introduce considerable bias into the results. In this paper, we focus on eliciting knowledge from pretrained language models and propose a prototypical prompt verbalizer for prompt-tuning. Labels are represented by prototypical embeddings in the feature space rather than by discrete words. The distances between the embedding at the masked position of input and prototypical embeddings are used as classification criterion. For zero-shot settings, knowledge is elicited from pretrained language models by a manually designed template to form initial prototypical embeddings. For few-shot settings, models are tuned to learn meaningful and interpretable prototypical embeddings. Our method optimizes models by contrastive learning. Extensive experimental results on several many-class text classification datasets with low-resource settings demonstrate the effectiveness of our approach compared with other verbalizer construction methods. Our implementation is available at https://github.com/Ydongd/prototypical-prompt-verbalizer.
• Abstract（参考訳）: マスク付き言語モデリング問題としてのアクシデントチューニングキャスター数ショット分類タスクの最近の進歩 入力をテンプレートにラップし、ラベル空間とラベルワード空間のマッピングを構成する動詞化器を使用することで、プロンプトチューニングはゼロショットおよび少数ショットシナリオにおいて優れた結果が得られる。 しかし、典型的なプロンプトチューニングには、ドメインの専門知識と人間の努力を必要とする手動で設計された動詞化器が必要である。 ラベルスペースの不足は、結果にかなりのバイアスをもたらすかもしれない。 本稿では,事前学習された言語モデルからの知識の抽出に焦点をあて,プロンプトチューニングのためのprototypeply verbalizerを提案する。 ラベルは、離散的な単語ではなく、特徴空間における原型的埋め込みによって表現される。 入力のマスク位置における埋め込みと原型埋め込みの間の距離を分類基準として用いる。 ゼロショット設定では、知識は事前訓練された言語モデルから手動で設計され、初期プロトタイプの埋め込みを形成する。 数少ない設定では、モデルは有意義で解釈可能な原型的埋め込みを学ぶように調整される。 本手法は,コントラスト学習によりモデルを最適化する。 低リソース設定の多クラステキスト分類データセットの広範囲な実験結果から,提案手法の有効性を他の言語処理手法と比較した。 私たちの実装はhttps://github.com/ydongd/prototypical-prompt-verbalizerで利用可能です。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• Don't Prompt, Search! Mining-based Zero-Shot Learning with Language Models [37.8952605358518]
  BERTのようなマスキング言語モデルはゼロショット方式でテキスト分類を行うことができる。 ゼロショット学習のための代替的なマイニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:52:30Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Prototypical Verbalizer for Prompt-based Few-shot Tuning [32.74024339482436]
  本稿では,学習データから直接構築した動詞化器(ProtoVerb)を提案する。 ProtoVerbは、比較学習によりプロトタイプベクトルを原型動詞化子として学習する。 トピック分類とエンティティ型付けの両方の実験を行い、その結果、ProtoVerbが現在の自動動詞処理よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2022-03-18T07:07:56Z)
• Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
  我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。 我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。 ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-08-04T13:00:16Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。