論文の概要: Prompt-based Text Entailment for Low-Resource Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2211.03039v1
• Date: Sun, 6 Nov 2022 06:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:45:07.381634
• Title: Prompt-based Text Entailment for Low-Resource Named Entity Recognition
• Title（参考訳）: 低リソース名前付きエンティティ認識のためのプロンプトに基づくテキストインテリメント
• Authors: Dongfang Li, Baotian Hu, Qingcai Chen
• Abstract要約: 低リソースなエンティティ認識のためのPTE(Prompt-based Text Entailment)を提案する。 提案手法は,CoNLL03データセット上での競合性能を実現する。
• 参考スコア（独自算出の注目度）: 21.017890579840145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Language Models (PLMs) have been applied in NLP tasks and achieve promising results. Nevertheless, the fine-tuning procedure needs labeled data of the target domain, making it difficult to learn in low-resource and non-trivial labeled scenarios. To address these challenges, we propose Prompt-based Text Entailment (PTE) for low-resource named entity recognition, which better leverages knowledge in the PLMs. We first reformulate named entity recognition as the text entailment task. The original sentence with entity type-specific prompts is fed into PLMs to get entailment scores for each candidate. The entity type with the top score is then selected as final label. Then, we inject tagging labels into prompts and treat words as basic units instead of n-gram spans to reduce time complexity in generating candidates by n-grams enumeration. Experimental results demonstrate that the proposed method PTE achieves competitive performance on the CoNLL03 dataset, and better than fine-tuned counterparts on the MIT Movie and Few-NERD dataset in low-resource settings.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は,NLPタスクに適用され,有望な結果が得られた。 それでも、微調整手順はターゲットドメインのラベル付きデータを必要とするため、低リソースで非自明なラベル付きシナリオでは学習が困難である。 これらの課題に対処するため,PLM における知識をより活用した低リソースなエンティティ認識のための Prompt-based Text Entailment (PTE) を提案する。 まず,名前付きエンティティ認識をテキスト包含タスクとして再編成する。 エンティティタイプ固有のプロンプトを持つ原文はPLMに入力され、各候補の詳細なスコアを取得する。 その後、トップスコアのエンティティタイプが最終ラベルとして選択される。 次に,n-gramスパンの代わりに,タグラベルをプロンプトに挿入し,単語を基本単位として扱うことで,n-gram列挙による候補生成における時間的複雑さを低減する。 実験により,提案手法はCoNLL03データセット上での競合性能と,低リソース環境下でのMIT MovieおよびFew-NERDデータセットの微調整よりも優れていた。

関連論文リスト

• Revisiting Sparse Retrieval for Few-shot Entity Linking [33.15662306409253]
  本稿では,ELECTRAに基づくキーワード抽出手法を提案する。 抽出器のトレーニングには,参照コンテキストとエンティティ記述との間に重複するトークンをベースとしたトレーニングデータを自動的に生成する遠隔監視手法を提案する。 ZESHELデータセットによる実験結果から,提案手法はすべてのテスト領域において,最先端モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-19T03:51:10Z)
• Learning In-context Learning for Named Entity Recognition [54.022036267886214]
  実世界のアプリケーションにおける名前付きエンティティ認識は、エンティティタイプの多様性、新しいエンティティタイプの出現、高品質なアノテーションの欠如に悩まされている。 本稿では,PLMにテキスト内NER機能を効果的に注入可能な,テキスト内学習に基づくNERアプローチを提案する。 提案手法は,テキスト内NER能力をPLMに効果的に注入し,PLM+fine-tuningよりも優れることを示す。
  論文  参考訳（メタデータ） (2023-05-18T15:31:34Z)
• GPT-NER: Named Entity Recognition via Large Language Models [58.609582116612934]
  GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。 GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。 これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
  論文  参考訳（メタデータ） (2023-04-20T16:17:26Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Disambiguation of Company names via Deep Recurrent Networks [101.90357454833845]
  企業名文字列の埋め込みである教師付き学習を通じて,Siamese LSTM Network を抽出する手法を提案する。 私たちは、ラベル付けされるサンプルを優先するActive Learningアプローチが、より効率的な全体的な学習パイプラインをもたらす方法を分析します。
  論文  参考訳（メタデータ） (2023-03-07T15:07:57Z)
• Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
  最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:11:50Z)
• PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners [15.130992223266734]
  本稿では,データ拡張のためのラベルの豊富なセマンティック情報を利用する新しいラベル誘導型データ拡張フレームワークであるPromptDAを提案する。 本研究は, 提案フレームワークの優れた性能を示すために, テキスト分類タスクを数ショットで行う実験である。
  論文  参考訳（メタデータ） (2022-05-18T22:15:20Z)
• Focusing on Potential Named Entities During Active Label Acquisition [0.0]
  名前付きエンティティ認識(NER)は、構造化されていないテキスト中の名前付きエンティティの参照を識別することを目的としている。 多くのドメイン固有のNERアプリケーションは、まだかなりの量のラベル付きデータを要求する。 本稿では,長すぎるか短すぎる文をペナル化するための,データ駆動正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-11-06T09:04:16Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。