論文の概要: GPT-NER: Named Entity Recognition via Large Language Models
- arxiv url: http://arxiv.org/abs/2304.10428v1
- Date: Thu, 20 Apr 2023 16:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 12:38:47.277225
- Title: GPT-NER: Named Entity Recognition via Large Language Models
- Title(参考訳): GPT-NER:大規模言語モデルによるエンティティ認識
- Authors: Shuhe Wang, Xiaofei Sun, Xiaoya Li, Rongbin Ouyang, Fei Wu, Tianwei
Zhang, Jiwei Li, Guoyin Wang
- Abstract要約: GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。
GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
- 参考スコア(独自算出の注目度): 50.650378486798814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the fact that large-scale Language Models (LLM) have achieved SOTA
performances on a variety of NLP tasks, its performance on NER is still
significantly below supervised baselines. This is due to the gap between the
two tasks the NER and LLMs: the former is a sequence labeling task in nature
while the latter is a text-generation model.
In this paper, we propose GPT-NER to resolve this issue. GPT-NER bridges the
gap by transforming the sequence labeling task to a generation task that can be
easily adapted by LLMs e.g., the task of finding location entities in the input
text "Columbus is a city" is transformed to generate the text sequence
"@@Columbus## is a city", where special tokens @@## marks the entity to
extract. To efficiently address the "hallucination" issue of LLMs, where LLMs
have a strong inclination to over-confidently label NULL inputs as entities, we
propose a self-verification strategy by prompting LLMs to ask itself whether
the extracted entities belong to a labeled entity tag.
We conduct experiments on five widely adopted NER datasets, and GPT-NER
achieves comparable performances to fully supervised baselines, which is the
first time as far as we are concerned. More importantly, we find that GPT-NER
exhibits a greater ability in the low-resource and few-shot setups, when the
amount of training data is extremely scarce, GPT-NER performs significantly
better than supervised models. This demonstrates the capabilities of GPT-NER in
real-world NER applications where the number of labeled examples is limited.
- Abstract(参考訳): 大規模言語モデル(LLM)が様々なNLPタスクでSOTAのパフォーマンスを達成したにもかかわらず、NERの性能は教師付きベースラインよりもはるかに低い。
これは NER と LLM の2つのタスクの間にギャップがあるためである: 前者はシーケンシャルラベリングタスクであり、後者はテキスト生成モデルである。
本稿では,この問題を解決するため,GPT-NERを提案する。
gpt-nerは、シーケンスラベリングタスクをllmで容易に適応可能な生成タスクに変換することで、ギャップを橋渡しする。例えば、入力テキスト"columbus is a city"にある場所エンティティを見つけるタスクを変換して、"@@columbus# is a city"というテキストシーケンスを生成し、特別なトークン@@##が抽出するエンティティをマークする。
LLMがNULL入力をエンティティとして過剰にラベル付けする強い傾向を持つLLMの「ハロシン化」問題に効率よく対処するため、抽出されたエンティティがラベル付きエンティティタグに属しているかどうかを問うことで自己検証戦略を提案する。
我々は広く採用されている5つのNERデータセットで実験を行い、GPT-NERは完全に教師付きベースラインに匹敵する性能を達成しています。
さらに重要なことに、gpt-nerは低リソースと少数ショットのセットアップにおいて、トレーニングデータの量が極めて少ない場合、教師付きモデルよりもはるかに優れたパフォーマンスを示すことが分かりました。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
関連論文リスト
- NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data [41.94295877935867]
Named Entity Recognitionタスクに特化したコンパクト言語表現モデルであるNuNERの作成方法を示す。
NuNERは、データ効率のよい方法で下流のNER問題を解決するように微調整できる。
トレーニング済みデータセットのサイズとエンティティタイプの多様性が、優れたパフォーマンスを実現するための鍵であることが分かりました。
論文 参考訳(メタデータ) (2024-02-23T14:23:51Z) - GLiNER: Generalist Model for Named Entity Recognition using
Bidirectional Transformer [4.194768796374315]
名前付きエンティティ認識(NER)は、様々な自然言語処理(NLP)アプリケーションに必須である。
本稿では,任意の種類のエンティティを識別するために訓練されたコンパクトなNERモデルを提案する。
我々のモデルであるGLiNERは、Large Language Models (LLM) の遅いシーケンシャルトークン生成に対するアドバンテージである並列エンティティ抽出を容易にする。
論文 参考訳(メタデータ) (2023-11-14T20:39:12Z) - NERetrieve: Dataset for Next Generation Named Entity Recognition and
Retrieval [49.827932299460514]
我々は、大きな言語モデルによって提供される能力は、NER研究の終わりではなく、むしろエキサイティングな始まりであると主張する。
我々は、NERタスクの3つの変種と、それらをサポートするデータセットを示す。
500のエンティティタイプをカバーする400万段落の,大規模で銀の注釈付きコーパスを提供する。
論文 参考訳(メタデータ) (2023-10-22T12:23:00Z) - Label-free Node Classification on Graphs with Large Language Models
(LLMS) [46.937442239949256]
本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。
制限を緩和しながら、GNNとLLMの長所を反復する。
特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
論文 参考訳(メタデータ) (2023-10-07T03:14:11Z) - Label Supervised LLaMA Finetuning [13.939718306233617]
本稿では,Large Language Models (LLM) のラベル管理型適応について紹介する。
最終LLaMA層から潜在表現を抽出し、ラベル空間に投影し、クロスエントロピー損失を計算する。
LS-LLaMAは、複雑な技術や外部知識がなければ、LS-LLaMAの10倍の規模でLLMを著しく上回ります。
論文 参考訳(メタデータ) (2023-10-02T13:53:03Z) - Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。
そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。
NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
論文 参考訳(メタデータ) (2023-06-16T09:40:05Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Learning In-context Learning for Named Entity Recognition [54.022036267886214]
実世界のアプリケーションにおける名前付きエンティティ認識は、エンティティタイプの多様性、新しいエンティティタイプの出現、高品質なアノテーションの欠如に悩まされている。
本稿では,PLMにテキスト内NER機能を効果的に注入可能な,テキスト内学習に基づくNERアプローチを提案する。
提案手法は,テキスト内NER能力をPLMに効果的に注入し,PLM+fine-tuningよりも優れることを示す。
論文 参考訳(メタデータ) (2023-05-18T15:31:34Z) - Gaussian Prior Reinforcement Learning for Nested Named Entity
Recognition [52.46740830977898]
GPRLと呼ばれる新しいSeq2seqモデルを提案し、ネストしたNERタスクをエンティティ三重項列生成プロセスとして定式化する。
3つのネストされたNERデータセットの実験では、GPRLが以前のネストされたNERモデルより優れていることが示されている。
論文 参考訳(メタデータ) (2023-05-12T05:55:34Z) - Prompt-based Text Entailment for Low-Resource Named Entity Recognition [21.017890579840145]
低リソースなエンティティ認識のためのPTE(Prompt-based Text Entailment)を提案する。
提案手法は,CoNLL03データセット上での競合性能を実現する。
論文 参考訳(メタデータ) (2022-11-06T06:13:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。