論文の概要: Rethinking Negative Instances for Generative Named Entity Recognition
- arxiv url: http://arxiv.org/abs/2402.16602v1
- Date: Mon, 26 Feb 2024 14:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 20:28:31.182760
- Title: Rethinking Negative Instances for Generative Named Entity Recognition
- Title(参考訳): 生成的名前付きエンティティ認識のための負のインスタンス再考
- Authors: Yuyang Ding, Juntao Li, Pinzheng Wang, Zecheng Tang, Bowen Yan, Min
Zhang
- Abstract要約: GNERはジェネレーティブNERシステムであり、見えないエンティティドメイン間でゼロショットのパフォーマンスが改善されている。
本稿では,非構造的予測を構造化エンティティに変換するために最適化した階層マッチングアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 25.930197108349134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated impressive capabilities for
generalizing in unseen tasks. In the Named Entity Recognition (NER) task,
recent advancements have seen the remarkable improvement of LLMs in a broad
range of entity domains via instruction tuning, by adopting entity-centric
schema. In this work, we explore the potential enhancement of the existing
methods by incorporating negative instances into training. Our experiments
reveal that negative instances contribute to remarkable improvements by (1)
introducing contextual information, and (2) clearly delineating label
boundaries. Furthermore, we introduce a novel and efficient algorithm named
Hierarchical Matching, which is tailored to transform unstructured predictions
into structured entities. By integrating these components, we present GNER, a
Generative NER system that shows improved zero-shot performance across unseen
entity domains. Our comprehensive evaluation illustrates our system's
superiority, surpassing state-of-the-art (SoTA) methods by 11 $F_1$ score in
zero-shot evaluation.
- Abstract(参考訳): 大規模言語モデル(llm)は、目に見えないタスクを一般化する素晴らしい能力を示している。
名前付きエンティティ認識(NER)タスクにおいて、近年の進歩は、エンティティ中心スキーマを採用することで、命令チューニングによる幅広いエンティティドメインにおけるLLMの顕著な改善が見られた。
本研究では, 負のインスタンスをトレーニングに組み込むことにより, 既存の手法の強化の可能性を検討する。
実験の結果,(1)文脈情報の導入,(2)ラベル境界の明確化により,負のインスタンスが顕著な改善をもたらすことが明らかになった。
さらに,非構造化予測を構造化エンティティに変換するために,階層マッチングと呼ばれる新しい効率的なアルゴリズムを提案する。
これらのコンポーネントを統合することで、未知のエンティティドメイン間でゼロショット性能が改善されたジェネレーティブNERシステムであるGNERを提案する。
総合評価の結果,ゼロショット評価ではsof-the-art (sota) 法を11$f_1$スコアで上回った。
関連論文リスト
- In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。
我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。
EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
論文 参考訳(メタデータ) (2024-02-02T06:57:53Z) - Multi-task Transformer with Relation-attention and Type-attention for
Named Entity Recognition [35.44123819012004]
名前付きエンティティ認識(NER)は自然言語処理において重要な研究課題である。
本稿では,エンティティ境界検出タスクを名前付きエンティティ認識タスクに組み込むマルチタスク変換器を提案する。
論文 参考訳(メタデータ) (2023-03-20T05:11:22Z) - End-to-End Entity Detection with Proposer and Regressor [6.25916397918329]
ネストされた実体認識は ネストシナリオの存在に対して 広範囲に注意を払っている
本稿では,提案手法と回帰器を用いたエンドツーエンドのエンティティ検出手法を提案する。
WeboNER データセットでは GENIA データセットでは 80.74 ,WeiboNER データセットでは 72.38 という,最先端の F1 スコアが得られた。
論文 参考訳(メタデータ) (2022-10-19T02:42:46Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳(メタデータ) (2022-09-27T19:04:36Z) - Nested Named Entity Recognition as Holistic Structure Parsing [92.8397338250383]
本研究は,文中の全入れ子NEを全体構造としてモデル化し,全体構造解析アルゴリズムを提案する。
実験により、我々のモデルは、最先端にアプローチしたり、あるいは達成したりするような、広く使われているベンチマークで有望な結果が得られることが示された。
論文 参考訳(メタデータ) (2022-04-17T12:48:20Z) - MINER: Improving Out-of-Vocabulary Named Entity Recognition from an
Information Theoretic Perspective [57.19660234992812]
NERモデルは標準のNERベンチマークで有望な性能を達成した。
近年の研究では、従来のアプローチはエンティティ参照情報に過度に依存し、OoV(out-of-vocabulary)エンティティ認識の性能が劣っていることが示されている。
我々は、情報理論の観点からこの問題を改善するための新しいNER学習フレームワークであるMINERを提案する。
論文 参考訳(メタデータ) (2022-04-09T05:18:20Z) - Enhancing the Generalization for Intent Classification and Out-of-Domain
Detection in SLU [70.44344060176952]
インテント分類は、音声言語理解(SLU)における主要な課題である
近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。
本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
論文 参考訳(メタデータ) (2021-06-28T08:27:38Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。