論文の概要: GPT-NER: Named Entity Recognition via Large Language Models
- arxiv url: http://arxiv.org/abs/2304.10428v1
- Date: Thu, 20 Apr 2023 16:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 12:38:47.277225
- Title: GPT-NER: Named Entity Recognition via Large Language Models
- Title（参考訳）: GPT-NER:大規模言語モデルによるエンティティ認識
- Authors: Shuhe Wang, Xiaofei Sun, Xiaoya Li, Rongbin Ouyang, Fei Wu, Tianwei
Zhang, Jiwei Li, Guoyin Wang
- Abstract要約: GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。
GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
- 参考スコア（独自算出の注目度）: 50.650378486798814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the fact that large-scale Language Models (LLM) have achieved SOTA
performances on a variety of NLP tasks, its performance on NER is still
significantly below supervised baselines. This is due to the gap between the
two tasks the NER and LLMs: the former is a sequence labeling task in nature
while the latter is a text-generation model.
In this paper, we propose GPT-NER to resolve this issue. GPT-NER bridges the
gap by transforming the sequence labeling task to a generation task that can be
easily adapted by LLMs e.g., the task of finding location entities in the input
text "Columbus is a city" is transformed to generate the text sequence
"@@Columbus## is a city", where special tokens @@## marks the entity to
extract. To efficiently address the "hallucination" issue of LLMs, where LLMs
have a strong inclination to over-confidently label NULL inputs as entities, we
propose a self-verification strategy by prompting LLMs to ask itself whether
the extracted entities belong to a labeled entity tag.
We conduct experiments on five widely adopted NER datasets, and GPT-NER
achieves comparable performances to fully supervised baselines, which is the
first time as far as we are concerned. More importantly, we find that GPT-NER
exhibits a greater ability in the low-resource and few-shot setups, when the
amount of training data is extremely scarce, GPT-NER performs significantly
better than supervised models. This demonstrates the capabilities of GPT-NER in
real-world NER applications where the number of labeled examples is limited.
- Abstract（参考訳）: 大規模言語モデル(LLM)が様々なNLPタスクでSOTAのパフォーマンスを達成したにもかかわらず、NERの性能は教師付きベースラインよりもはるかに低い。
これは NER と LLM の2つのタスクの間にギャップがあるためである: 前者はシーケンシャルラベリングタスクであり、後者はテキスト生成モデルである。
本稿では,この問題を解決するため,GPT-NERを提案する。
gpt-nerは、シーケンスラベリングタスクをllmで容易に適応可能な生成タスクに変換することで、ギャップを橋渡しする。例えば、入力テキスト"columbus is a city"にある場所エンティティを見つけるタスクを変換して、"@@columbus# is a city"というテキストシーケンスを生成し、特別なトークン@@##が抽出するエンティティをマークする。
LLMがNULL入力をエンティティとして過剰にラベル付けする強い傾向を持つLLMの「ハロシン化」問題に効率よく対処するため、抽出されたエンティティがラベル付きエンティティタグに属しているかどうかを問うことで自己検証戦略を提案する。
我々は広く採用されている5つのNERデータセットで実験を行い、GPT-NERは完全に教師付きベースラインに匹敵する性能を達成しています。
さらに重要なことに、gpt-nerは低リソースと少数ショットのセットアップにおいて、トレーニングデータの量が極めて少ない場合、教師付きモデルよりもはるかに優れたパフォーマンスを示すことが分かりました。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
関連論文リスト
- ReverseNER: A Self-Generated Example-Driven Framework for Zero-Shot Named Entity Recognition with Large Language Models [0.0]
ゼロショット名前付きエンティティ認識タスクにおいて,大規模言語モデル(LLM)の限界を克服するためのフレームワークであるReverseNERを提案する。
文から始めるのではなく、LLMを使用して定義に基づいてエンティティを生成し、それらを全文に拡張する。
その結果,タスク文と意味的・構造的類似性を保ちながら,明確にラベル付けされたエンティティを持つ注釈付き文が得られた。
論文 参考訳（メタデータ） (2024-11-01T12:08:08Z) - Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。
本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。
ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-09-19T02:59:44Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳（メタデータ） (2024-06-25T04:27:53Z) - NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data [41.94295877935867]
Named Entity Recognitionタスクに特化したコンパクト言語表現モデルであるNuNERの作成方法を示す。
NuNERは、データ効率のよい方法で下流のNER問題を解決するように微調整できる。
トレーニング済みデータセットのサイズとエンティティタイプの多様性が、優れたパフォーマンスを実現するための鍵であることが分かりました。
論文 参考訳（メタデータ） (2024-02-23T14:23:51Z) - GLiNER: Generalist Model for Named Entity Recognition using
Bidirectional Transformer [4.194768796374315]
名前付きエンティティ認識(NER)は、様々な自然言語処理(NLP)アプリケーションに必須である。
本稿では,任意の種類のエンティティを識別するために訓練されたコンパクトなNERモデルを提案する。
我々のモデルであるGLiNERは、Large Language Models (LLM) の遅いシーケンシャルトークン生成に対するアドバンテージである並列エンティティ抽出を容易にする。
論文 参考訳（メタデータ） (2023-11-14T20:39:12Z) - NERetrieve: Dataset for Next Generation Named Entity Recognition and
Retrieval [49.827932299460514]
我々は、大きな言語モデルによって提供される能力は、NER研究の終わりではなく、むしろエキサイティングな始まりであると主張する。
我々は、NERタスクの3つの変種と、それらをサポートするデータセットを示す。
500のエンティティタイプをカバーする400万段落の,大規模で銀の注釈付きコーパスを提供する。
論文 参考訳（メタデータ） (2023-10-22T12:23:00Z) - Label-free Node Classification on Graphs with Large Language Models
(LLMS) [46.937442239949256]
本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。
制限を緩和しながら、GNNとLLMの長所を反復する。
特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
論文 参考訳（メタデータ） (2023-10-07T03:14:11Z) - Label Supervised LLaMA Finetuning [13.939718306233617]
本稿では,Large Language Models (LLM) のラベル管理型適応について紹介する。
最終LLaMA層から潜在表現を抽出し、ラベル空間に投影し、クロスエントロピー損失を計算する。
LS-LLaMAは、複雑な技術や外部知識がなければ、LS-LLaMAの10倍の規模でLLMを著しく上回ります。
論文 参考訳（メタデータ） (2023-10-02T13:53:03Z) - Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。
そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。
NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
論文 参考訳（メタデータ） (2023-06-16T09:40:05Z) - Gaussian Prior Reinforcement Learning for Nested Named Entity
Recognition [52.46740830977898]
GPRLと呼ばれる新しいSeq2seqモデルを提案し、ネストしたNERタスクをエンティティ三重項列生成プロセスとして定式化する。
3つのネストされたNERデータセットの実験では、GPRLが以前のネストされたNERモデルより優れていることが示されている。
論文 参考訳（メタデータ） (2023-05-12T05:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。