論文の概要: Large Language Models for Few-Shot Named Entity Recognition
- arxiv url: http://arxiv.org/abs/1810.06818v3
- Date: Wed, 29 Oct 2025 14:50:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.158237
- Title: Large Language Models for Few-Shot Named Entity Recognition
- Title(参考訳): エンティティ認識のための大規模言語モデル
- Authors: Yufei Zhao, Xiaoshi Zhong, Erik Cambria, Jagath C. Rajapakse,
- Abstract要約: GPT4NERは、3つの重要なコンポーネント(エンティティ定義、少数ショット例、チェーン・オブ・シント)を使って効果的なプロンプトを構築する。
我々は,2つのベンチマークデータセットであるCoNLL2003とOntoNotes5.0で実験を行い,GPT4NERの性能と最先端の代表的なモデルとの比較を行った。
- 参考スコア(独自算出の注目度): 42.753496136556286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Named entity recognition (NER) is a fundamental task in numerous downstream applications. Recently, researchers have employed pre-trained language models (PLMs) and large language models (LLMs) to address this task. However, fully leveraging the capabilities of PLMs and LLMs with minimal human effort remains challenging. In this paper, we propose GPT4NER, a method that prompts LLMs to resolve the few-shot NER task. GPT4NER constructs effective prompts using three key components: entity definition, few-shot examples, and chain-of-thought. By prompting LLMs with these effective prompts, GPT4NER transforms few-shot NER, which is traditionally considered as a sequence-labeling problem, into a sequence-generation problem. We conduct experiments on two benchmark datasets, CoNLL2003 and OntoNotes5.0, and compare the performance of GPT4NER to representative state-of-the-art models in both few-shot and fully supervised settings. Experimental results demonstrate that GPT4NER achieves the $F_1$ of 83.15\% on CoNLL2003 and 70.37\% on OntoNotes5.0, significantly outperforming few-shot baselines by an average margin of 7 points. Compared to fully-supervised baselines, GPT4NER achieves 87.9\% of their best performance on CoNLL2003 and 76.4\% of their best performance on OntoNotes5.0. We also utilize a relaxed-match metric for evaluation and report performance in the sub-task of named entity extraction (NEE), and experiments demonstrate their usefulness to help better understand model behaviors in the NER task.
- Abstract(参考訳): 名前付きエンティティ認識(NER)は多くの下流アプリケーションにおいて基本的なタスクである。
近年,この課題に対処するために,プレトレーニング言語モデル (PLM) と大規模言語モデル (LLM) が採用されている。
しかしながら, PLM と LLM の能力を人間の最小限の努力で完全に活用することは依然として困難である。
本稿では,数発のNERタスクをLLMに解決させる手法であるGPT4NERを提案する。
GPT4NERは、3つの重要なコンポーネント(エンティティ定義、少数ショット例、チェーン・オブ・シント)を使って効果的なプロンプトを構築する。
GPT4NER はこれらの効果的なプロンプトで LLM を誘導することにより、伝統的にシーケンスラベル問題と見なされる少数ショット NER をシーケンス生成問題に変換する。
我々は,2つのベンチマークデータセットであるCoNLL2003とOntoNotes5.0で実験を行い,GPT4NERの性能を,少数ショットと完全教師付き設定の両方における最先端モデルと比較した。
実験の結果、GPT4NER は CoNLL2003 では 83.15 %、OntoNotes5.0 では 70.37 % の$F_1 を達成し、平均 7 ポイントの差でショットベースラインを著しく上回った。
完全に教師されたベースラインと比較して、GPT4NERはCoNLL2003で最高のパフォーマンスの87.9倍、OntoNotes5.0で最高のパフォーマンスの76.4倍を達成する。
また,名前付きエンティティ抽出(NEE)のサブタスクにおける評価・報告に緩和マッチングの指標を用い,NERタスクにおけるモデル動作をよりよく理解するための実験を行った。
関連論文リスト
- Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。
我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。
実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
論文 参考訳(メタデータ) (2024-11-23T08:06:06Z) - Utilizing Large Language Models for Named Entity Recognition in Traditional Chinese Medicine against COVID-19 Literature: Comparative Study [4.680391123850371]
新型コロナウイルスに対するTCMに関する389項目のデータセットを作成し,その内48項目に3つのドメインに属する6種類のエンティティを手動で注釈付けした。
次に、ChatGPT(GPT-3.5およびGPT-4)と4つの最先端BERTベースの質問応答(QA)モデルを用いて、6つのエンティティタイプに対してNERタスクを実行した。
論文 参考訳(メタデータ) (2024-08-24T06:59:55Z) - FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios [0.5106912532044251]
FsPONERは、少数ショットプロンプトを最適化するための新しいアプローチであり、ドメイン固有のNERデータセットの性能を評価する。
FsPONERは、ランダムサンプリングとTF-IDFとの組み合わせに基づく3つのショット選択法で構成されている。
データ不足を考慮した実世界のシナリオでは、TF-IDFを用いたFsPONERは、F1スコアで約10%の微調整モデルを上回っている。
論文 参考訳(メタデータ) (2024-07-10T20:32:50Z) - ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition [18.884124657093405]
ELENは,微調整言語モデルと言語規則をブレンドした,シンプルで完全にモジュール化されたニューロシンボリックな手法である。
ELLENはCoNLL-2003データセット上で非常に強力なパフォーマンスを実現している。
ゼロショット設定では、ELENは金のデータに基づいてトレーニングされた強力で完全な教師付きモデルの75%以上の性能を達成する。
論文 参考訳(メタデータ) (2024-03-26T05:11:51Z) - Instances Need More Care: Rewriting Prompts for Instances with LLMs in the Loop Yields Better Zero-Shot Performance [11.595274304409937]
大規模言語モデル(LLM)はゼロショットタスクのパフォーマンスに革命をもたらした。
レッツ・シンク・バイ・ステップ(Let's Think by Step)」のようなトリガーフレーズを使った現在の手法は依然として限られている。
本研究では,タスクインスタンスのゼロショットプロンプトを最適化するPRomPTedを導入する。
論文 参考訳(メタデータ) (2023-10-03T14:51:34Z) - UniversalNER: Targeted Distillation from Large Language Models for Open
Named Entity Recognition [48.977866466971655]
オープンNERのためにChatGPTをはるかに小さなUniversalNERモデルに蒸留する方法を示す。
9つの異なるドメインにわたる43のデータセットからなる、これまでで最大のNERベンチマークを組み立てました。
パラメータのごく一部で、UniversalNERは任意のエンティティタイプを認識するChatGPTの能力を取得するだけでなく、NERの精度を平均7-9絶対F1ポイントで上回る。
論文 参考訳(メタデータ) (2023-08-07T03:39:52Z) - PromptNER: A Prompting Method for Few-shot Named Entity Recognition via
k Nearest Neighbor Search [56.81939214465558]
本稿では,近距離探索による数発NERの新規プロンプト法であるPromptNERを提案する。
我々は、エンティティカテゴリ情報を含むプロンプトを使用してラベルのプロトタイプを構築する。
Few-NERDデータセットとCrossNERデータセットの広範な実験により,本モデルが最先端手法よりも優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-05-20T15:47:59Z) - GPT-NER: Named Entity Recognition via Large Language Models [58.609582116612934]
GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。
GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
論文 参考訳(メタデータ) (2023-04-20T16:17:26Z) - Reframing Instructional Prompts to GPTk's Language [72.69833640335519]
本稿では,モデル設計者が言語モデルに対して効果的なプロンプトを作成するためのリフレーミング手法を提案する。
その結果、リフレーミングはサンプルの複雑さを減らしながら、数ショットの学習性能を14%向上させることがわかった。
GPT3では、大規模なデータセットでモデルやプロンプトをチューニングすることは不可能である。
論文 参考訳(メタデータ) (2021-09-16T09:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。