論文の概要: Template-free Prompt Tuning for Few-shot NER

• arxiv url: http://arxiv.org/abs/2109.13532v1
• Date: Tue, 28 Sep 2021 07:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 14:48:31.579866
• Title: Template-free Prompt Tuning for Few-shot NER
• Title（参考訳）: Few-shot NERのためのテンプレートフリープロンプトチューニング
• Authors: Ruotian Ma, Xin Zhou, Tao Gui, Yiding Tan, Qi Zhang, Xuanjing Huang
• Abstract要約: テンプレートを使わずにNERタスクをLM問題として再構成するよりエレガントな手法を提案する。 具体的には,事前学習モデルの単語予測パラダイムを維持しながらテンプレート構築プロセスを捨てる。 実験により, バート・タガー法およびテンプレートベース法に対して, 数ショット設定で提案手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 46.59447116255979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based methods have been successfully applied in sentence-level few-shot learning tasks, mostly owing to the sophisticated design of templates and label words. However, when applied to token-level labeling tasks such as NER, it would be time-consuming to enumerate the template queries over all potential entity spans. In this work, we propose a more elegant method to reformulate NER tasks as LM problems without any templates. Specifically, we discard the template construction process while maintaining the word prediction paradigm of pre-training models to predict a class-related pivot word (or label word) at the entity position. Meanwhile, we also explore principled ways to automatically search for appropriate label words that the pre-trained models can easily adapt to. While avoiding complicated template-based process, the proposed LM objective also reduces the gap between different objectives used in pre-training and fine-tuning, thus it can better benefit the few-shot performance. Experimental results demonstrate the effectiveness of the proposed method over bert-tagger and template-based method under few-shot setting. Moreover, the decoding speed of the proposed method is up to 1930.12 times faster than the template-based method.
• Abstract（参考訳）: プロンプトに基づく手法は、テンプレートやラベル語の洗練された設計のため、文レベルの数発の学習タスクに成功している。 しかし、NERのようなトークンレベルのラベリングタスクに適用すると、潜在的なエンティティの全ての範囲でテンプレートクエリを列挙するのに時間がかかるだろう。 本研究では,NERタスクをテンプレートなしでLM問題として再構成するよりエレガントな手法を提案する。 具体的には、事前学習モデルの単語予測パラダイムを維持しながらテンプレート構築プロセスを捨て、エンティティ位置でクラス関連ピボットワード(またはラベルワード)を予測する。 また、事前学習したモデルが容易に適応できる適切なラベル単語を自動的に検索する方法についても検討した。 テンプレートベースの複雑なプロセスを避ける一方で、提案されたlmの目標は、事前トレーニングと微調整で使用される異なる目的間のギャップを減少させる。 提案手法をbert-tagger および template-based 法に導入し,提案手法の有効性を実験的に検証した。 さらに,提案手法の復号速度はテンプレートベース法よりも最大で1930.12倍高速である。

関連論文リスト

• Mind Your Format: Towards Consistent Evaluation of In-Context Learning Improvements [10.687101698324897]
  大規模な言語モデルは、いくつかの例から新しいタスクを解くための驚くべき能力を示している。 プロンプトテンプレート、あるいはインプット例をフォーマットしてプロンプトを取得する方法は、コンテキスト内学習の重要な側面であるが、見過ごされがちである。 テンプレートの貧弱な選択は、最強モデルと推論手法の性能をランダムな推測レベルに低下させることができることを示す。
  論文  参考訳（メタデータ） (2024-01-12T18:58:26Z)
• A Quality-based Syntactic Template Retriever for Syntactically-controlled Paraphrase Generation [67.98367574025797]
  既存の構文制御されたパラフレーズ生成モデルは、人間の注釈付きまたはよく書かれた構文テンプレートで有望に機能する。 禁止コストにより、ソース文ごとに適切なテンプレートを手作業で設計することは不可能になります。 本稿では,QSTR(Quality-based Syntactic Template Retriever)を提案する。
  論文  参考訳（メタデータ） (2023-10-20T03:55:39Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification [5.6205035780719275]
  本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。 提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-29T04:42:30Z)
• Don't Prompt, Search! Mining-based Zero-Shot Learning with Language Models [37.8952605358518]
  BERTのようなマスキング言語モデルはゼロショット方式でテキスト分類を行うことができる。 ゼロショット学習のための代替的なマイニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:52:30Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• An Information-theoretic Approach to Prompt Engineering Without Ground Truth Labels [55.06990011183662]
  我々は、ラベル付き例やtextitwithout のモデルへの直接アクセスなしに、プロンプトテンプレートを選択する新しい方法を提案する。 7つの異なるNLPタスクを表す8つのデータセットにまたがって、テンプレートが高い相互情報を持つ場合、そのタスクに対して高い精度を持つことを示す。
  論文  参考訳（メタデータ） (2022-03-21T21:51:43Z)
• Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer [12.596033546002321]
  本稿では,事前学習された言語モデルから知識を抽出することに集中し,プロンプト学習のためのプロトタイプなプロンプト動詞化手法を提案する。 ゼロショット設定では、知識は事前訓練された言語モデルから手動で設計され、初期プロトタイプの埋め込みを形成する。 数ショット設定では、モデルは有意義で解釈可能なプロトタイプの埋め込みを学ぶように調整される。
  論文  参考訳（メタデータ） (2022-01-14T12:04:37Z)
• NSP-BERT: A Prompt-based Zero-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction [14.912579358678212]
  プロンプトを使用して、プロンプトベース学習やプロンプトラーニングとしても知られる様々な下流タスクを実行することは、最近、プレトレインとファインチューンパラダイムと比較して大きな成功を収めている。 本稿では,RoBERTa や他のモデルに放棄された BERT 独自の事前学習タスク-Next Sentence Prediction (NSP) を用いて,ゼロショットシナリオで複数の NLP タスクを達成しようとする。 トークンレベルの技法とは異なり、我々の文レベルのプロンプトベースの方法であるNSP-BERTは、予測されるプロンプトの長さや位置を固定する必要がなく、エンティティリンクのようなタスクを処理できる。
  論文  参考訳（メタデータ） (2021-09-08T11:57:08Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。