論文の概要: Assessment of Generative Named Entity Recognition in the Era of Large Language Models
- arxiv url: http://arxiv.org/abs/2601.17898v1
- Date: Sun, 25 Jan 2026 16:20:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:08.519641
- Title: Assessment of Generative Named Entity Recognition in the Era of Large Language Models
- Title(参考訳): 大規模言語モデルにおける生成的名前付きエンティティ認識の評価
- Authors: Qi Zhan, Yile Wang, Hui Huang,
- Abstract要約: 名前付きエンティティ認識(NER)は、大規模言語モデル(LLM)の台頭とともに、シーケンスラベリングタスクから生成パラダイムへと進化している。
我々は,フラットおよびネストされたNERタスクにおいて,オープンソースのLLMを体系的に評価する。
これらの結果から, LLMを用いたジェネレーティブNERは, 従来の方法に代わる有望かつユーザフレンドリーな代替手段であることが示唆された。
- 参考スコア(独自算出の注目度): 11.887255148221008
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Named entity recognition (NER) is evolving from a sequence labeling task into a generative paradigm with the rise of large language models (LLMs). We conduct a systematic evaluation of open-source LLMs on both flat and nested NER tasks. We investigate several research questions including the performance gap between generative NER and traditional NER models, the impact of output formats, whether LLMs rely on memorization, and the preservation of general capabilities after fine-tuning. Through experiments across eight LLMs of varying scales and four standard NER datasets, we find that: (1) With parameter-efficient fine-tuning and structured formats like inline bracketed or XML, open-source LLMs achieve performance competitive with traditional encoder-based models and surpass closed-source LLMs like GPT-3; (2) The NER capability of LLMs stems from instruction-following and generative power, not mere memorization of entity-label pairs; and (3) Applying NER instruction tuning has minimal impact on general capabilities of LLMs, even improving performance on datasets like DROP due to enhanced entity understanding. These findings demonstrate that generative NER with LLMs is a promising, user-friendly alternative to traditional methods. We release the data and code at https://github.com/szu-tera/LLMs4NER.
- Abstract(参考訳): 名前付きエンティティ認識(NER)は、大規模言語モデル(LLM)の台頭とともに、シーケンスラベリングタスクから生成パラダイムへと進化している。
我々は,フラットおよびネストされたNERタスクにおいて,オープンソースのLLMを体系的に評価する。
生成的NERモデルと従来のNERモデルのパフォーマンスギャップ、出力形式の影響、LLMが記憶に依存しているかどうか、微調整後の一般的な機能の保存など、いくつかの研究課題について検討する。
1)インラインブラケットやXMLのようなパラメータ効率のよい微調整および構造化フォーマットを用いて、オープンソースのLLMは従来のエンコーダベースのモデルと競合し、GPT-3のようなクローズドソースのLLMを超える性能を実現している。
これらの結果から, LLMを用いたジェネレーティブNERは, 従来の方法に代わる有望かつユーザフレンドリーな代替手段であることが示唆された。
データとコードはhttps://github.com/szu-tera/LLMs4NERで公開しています。
関連論文リスト
- Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。
本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
論文 参考訳(メタデータ) (2025-02-10T04:29:36Z) - DynamicNER: A Dynamic, Multilingual, and Fine-Grained Dataset for LLM-based Named Entity Recognition [53.019885776033824]
動的分類を伴うLarge Language Models (LLM) ベースの手法のために設計された最初のNERデータセットであるDynamicNERを提案する。
データセットは多言語および多言語で、8言語と155のエンティティタイプをカバーし、コーパスはさまざまなドメインにまたがる。
実験によると、DynamicNERはLLMベースのNERメソッドの堅牢で効果的なベンチマークとして機能している。
論文 参考訳(メタデータ) (2024-09-17T09:32:12Z) - ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。
本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
論文 参考訳(メタデータ) (2024-03-17T06:12:43Z) - NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data [41.94295877935867]
Named Entity Recognitionタスクに特化したコンパクト言語表現モデルであるNuNERの作成方法を示す。
NuNERは、データ効率のよい方法で下流のNER問題を解決するように微調整できる。
トレーニング済みデータセットのサイズとエンティティタイプの多様性が、優れたパフォーマンスを実現するための鍵であることが分かりました。
論文 参考訳(メタデータ) (2024-02-23T14:23:51Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - GPT-NER: Named Entity Recognition via Large Language Models [58.609582116612934]
GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。
GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。
これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
論文 参考訳(メタデータ) (2023-04-20T16:17:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。