論文の概要: Learning In-context Learning for Named Entity Recognition
- arxiv url: http://arxiv.org/abs/2305.11038v3
- Date: Fri, 26 May 2023 05:44:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 19:45:05.706603
- Title: Learning In-context Learning for Named Entity Recognition
- Title（参考訳）: 名前付きエンティティ認識のための文脈内学習
- Authors: Jiawei Chen, Yaojie Lu, Hongyu Lin, Jie Lou, Wei Jia, Dai Dai, Hua Wu,
Boxi Cao, Xianpei Han and Le Sun
- Abstract要約: 実世界のアプリケーションにおける名前付きエンティティ認識は、エンティティタイプの多様性、新しいエンティティタイプの出現、高品質なアノテーションの欠如に悩まされている。
本稿では,PLMにテキスト内NER機能を効果的に注入可能な,テキスト内学習に基づくNERアプローチを提案する。
提案手法は,テキスト内NER能力をPLMに効果的に注入し,PLM+fine-tuningよりも優れることを示す。
- 参考スコア（独自算出の注目度）: 54.022036267886214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Named entity recognition in real-world applications suffers from the
diversity of entity types, the emergence of new entity types, and the lack of
high-quality annotations. To address the above problems, this paper proposes an
in-context learning-based NER approach, which can effectively inject in-context
NER ability into PLMs and recognize entities of novel types on-the-fly using
only a few demonstrative instances. Specifically, we model PLMs as a
meta-function $\mathcal{ \lambda_ {\text{instruction, demonstrations, text}}.
M}$, and a new entity extractor can be implicitly constructed by applying new
instruction and demonstrations to PLMs, i.e., $\mathcal{ (\lambda . M)
}$(instruction, demonstrations) $\to$ $\mathcal{F}$ where $\mathcal{F}$ will be
a new entity extractor, i.e., $\mathcal{F}$: text $\to$ entities. To inject the
above in-context NER ability into PLMs, we propose a meta-function pre-training
algorithm, which pre-trains PLMs by comparing the (instruction,
demonstration)-initialized extractor with a surrogate golden extractor.
Experimental results on 4 few-shot NER datasets show that our method can
effectively inject in-context NER ability into PLMs and significantly
outperforms the PLMs+fine-tuning counterparts.
- Abstract（参考訳）: 実世界のアプリケーションにおける名前付きエンティティ認識は、エンティティタイプの多様性、新しいエンティティ型の発生、高品質なアノテーションの欠如に苦しむ。
上記の問題に対処するため,本論文では,テキスト内NER能力を PLM に効果的に注入し,いくつかの実証例を用いて新たなタイプのエンティティをオンザフライで認識する,コンテキスト内学習に基づくNERアプローチを提案する。
具体的には、PLMをメタ関数 $\mathcal{ \lambda_ {\text{instruction, demonstrations, text}} としてモデル化する。
新しいエンティティ抽出器は、plm、すなわち$\mathcal{ (\lambda.m}$) に新しい命令とデモンストレーションを適用することで暗黙的に構築できる。
M) }$(インストラクション、デモ)$\to$ $\mathcal{F}$ where $\mathcal{F}$は新しいエンティティ抽出子、すなわち、$\mathcal{F}$: text $\to$エンティティとなる。
そこで本稿では,PLM に記述中の NER 能力を注入するメタ関数事前学習アルゴリズムを提案し,PLM を(指示,実演)初期抽出器と代用ゴールデン抽出器とを比較して事前学習する。
数発のNERデータセットによる実験結果から,本手法はテキスト内NER能力をPLMに効果的に注入し,PLM+fin-tuningよりも優れていた。
関連論文リスト
- NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data [41.94295877935867]
Named Entity Recognitionタスクに特化したコンパクト言語表現モデルであるNuNERの作成方法を示す。
NuNERは、データ効率のよい方法で下流のNER問題を解決するように微調整できる。
トレーニング済みデータセットのサイズとエンティティタイプの多様性が、優れたパフォーマンスを実現するための鍵であることが分かりました。
論文 参考訳（メタデータ） (2024-02-23T14:23:51Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-10-24T08:56:49Z) - Named Entity Recognition via Machine Reading Comprehension: A Multi-Task
Learning Approach [50.12455129619845]
Named Entity Recognition (NER) は、テキスト内のエンティティの参照を事前に定義された型に抽出し、分類することを目的としている。
我々は,MRCベースのNERを改善するために,エンティティタイプ間のラベル依存性をマルチタスク学習フレームワークに組み込むことを提案する。
論文 参考訳（メタデータ） (2023-09-20T03:15:05Z) - GPT-NER: Named Entity Recognition via Large Language Models [58.609582116612934]
GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。
GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
論文 参考訳（メタデータ） (2023-04-20T16:17:26Z) - Representation Deficiency in Masked Language Modeling [107.39136254013042]
我々は Masked Autoencoder アーキテクチャを事前トレーニングする MAE-LM を提案し,$tt[MASK]$トークンをエンコーダから除外する。
GLUE と SQuAD ベンチマークで微調整した場合,MAE-LM は,事前学習したモデルに対して,異なる事前学習設定とモデルサイズで一貫した性能を示した。
論文 参考訳（メタデータ） (2023-02-04T01:54:17Z) - Prompt-based Text Entailment for Low-Resource Named Entity Recognition [21.017890579840145]
低リソースなエンティティ認識のためのPTE(Prompt-based Text Entailment)を提案する。
提案手法は,CoNLL03データセット上での競合性能を実現する。
論文 参考訳（メタデータ） (2022-11-06T06:13:38Z) - Decomposed Meta-Learning for Few-Shot Named Entity Recognition [32.515795881027074]
NER (Few-shot named entity recognition) システムは、いくつかのラベル付き例に基づいて、新しい名前付きエンティティを認識することを目的としている。
本稿ではメタラーニングを用いた数発のスパン検出と数発のエンティティタイピングに取り組むメタラーニング手法を提案する。
論文 参考訳（メタデータ） (2022-04-12T12:46:23Z) - Truth Discovery in Sequence Labels from Crowds [12.181422057560201]
Amazon Mechanical Turk (AMT)のようなクラウドソーシングプラットフォームは、この目的のためにデプロイされている。
アノテーションアグリゲーションにおける既存の文献は、アノテーションは独立しており、シーケンシャルなラベルアグリゲーションタスクを扱う際の課題に直面していると仮定している。
逐次ラベリングタスクにおいて,作業者が提供するアノテーションを用いて,真理ラベルを推測する最適化手法を提案する。
論文 参考訳（メタデータ） (2021-09-09T19:12:13Z) - How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。
我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。
この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
論文 参考訳（メタデータ） (2021-05-05T17:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。