論文の概要: Multi-task Transformer with Relation-attention and Type-attention for
Named Entity Recognition
- arxiv url: http://arxiv.org/abs/2303.10870v1
- Date: Mon, 20 Mar 2023 05:11:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 16:51:19.632905
- Title: Multi-task Transformer with Relation-attention and Type-attention for
Named Entity Recognition
- Title(参考訳): 名前付きエンティティ認識のための関係注意型マルチタスク変換器
- Authors: Ying Mo, Hongyin Tang, Jiahao Liu, Qifan Wang, Zenglin Xu, Jingang
Wang, Wei Wu, Zhoujun Li
- Abstract要約: 名前付きエンティティ認識(NER)は自然言語処理において重要な研究課題である。
本稿では,エンティティ境界検出タスクを名前付きエンティティ認識タスクに組み込むマルチタスク変換器を提案する。
- 参考スコア(独自算出の注目度): 35.44123819012004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Named entity recognition (NER) is an important research problem in natural
language processing. There are three types of NER tasks, including flat, nested
and discontinuous entity recognition. Most previous sequential labeling models
are task-specific, while recent years have witnessed the rising of generative
models due to the advantage of unifying all NER tasks into the seq2seq model
framework. Although achieving promising performance, our pilot studies
demonstrate that existing generative models are ineffective at detecting entity
boundaries and estimating entity types. This paper proposes a multi-task
Transformer, which incorporates an entity boundary detection task into the
named entity recognition task. More concretely, we achieve entity boundary
detection by classifying the relations between tokens within the sentence. To
improve the accuracy of entity-type mapping during decoding, we adopt an
external knowledge base to calculate the prior entity-type distributions and
then incorporate the information into the model via the self and
cross-attention mechanisms. We perform experiments on an extensive set of NER
benchmarks, including two flat, three nested, and three discontinuous NER
datasets. Experimental results show that our approach considerably improves the
generative NER model's performance.
- Abstract(参考訳): 名前付きエンティティ認識(NER)は自然言語処理において重要な研究課題である。
フラット、ネスト、不連続なエンティティ認識を含む3種類のNERタスクがある。
以前のシーケンシャルなラベリングモデルのほとんどはタスク固有のものであるが、近年はすべてのNERタスクをSeq2seqモデルフレームワークに統合する利点から、生成モデルの増加を目撃している。
有望な性能を達成する一方で,既存の生成モデルが実体境界の検出や実体型の推定に有効でないことを示す。
本稿では,エンティティ境界検出タスクを名前付きエンティティ認識タスクに組み込むマルチタスク変換器を提案する。
より具体的には、文内のトークン間の関係を分類することで、エンティティ境界検出を実現する。
復号時のエンティティ型マッピングの精度を向上させるため,外部知識ベースを用いて先行するエンティティ型分布を計算し,その情報を自己および相互接続機構を介してモデルに組み込む。
2つのフラット、3つのネスト、3つの不連続なNERデータセットを含む、広範なNERベンチマークで実験を行う。
実験の結果,本手法は生成NERモデルの性能を大幅に改善することが示された。
関連論文リスト
- In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。
我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。
EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
論文 参考訳(メタデータ) (2024-02-02T06:57:53Z) - NERetrieve: Dataset for Next Generation Named Entity Recognition and
Retrieval [49.827932299460514]
我々は、大きな言語モデルによって提供される能力は、NER研究の終わりではなく、むしろエキサイティングな始まりであると主張する。
我々は、NERタスクの3つの変種と、それらをサポートするデータセットを示す。
500のエンティティタイプをカバーする400万段落の,大規模で銀の注釈付きコーパスを提供する。
論文 参考訳(メタデータ) (2023-10-22T12:23:00Z) - Named Entity Recognition via Machine Reading Comprehension: A Multi-Task
Learning Approach [50.12455129619845]
Named Entity Recognition (NER) は、テキスト内のエンティティの参照を事前に定義された型に抽出し、分類することを目的としている。
我々は,MRCベースのNERを改善するために,エンティティタイプ間のラベル依存性をマルチタスク学習フレームワークに組み込むことを提案する。
論文 参考訳(メタデータ) (2023-09-20T03:15:05Z) - Gaussian Prior Reinforcement Learning for Nested Named Entity
Recognition [52.46740830977898]
GPRLと呼ばれる新しいSeq2seqモデルを提案し、ネストしたNERタスクをエンティティ三重項列生成プロセスとして定式化する。
3つのネストされたNERデータセットの実験では、GPRLが以前のネストされたNERモデルより優れていることが示されている。
論文 参考訳(メタデータ) (2023-05-12T05:55:34Z) - Unified Named Entity Recognition as Word-Word Relation Classification [25.801945832005504]
我々は、統一NERを単語関係分類、すなわちW2NERとしてモデル化する新しい方法を提案する。
このアーキテクチャは、エンティティワード間の隣り合う関係を効果的にモデル化することにより、統一NERのカーネルボトルネックを解決する。
W2NERスキームに基づいて,統一NERを単語ペアの2次元グリッドとしてモデル化するニューラルネットワークフレームワークを開発する。
論文 参考訳(メタデータ) (2021-12-19T06:11:07Z) - AutoTriggER: Label-Efficient and Robust Named Entity Recognition with
Auxiliary Trigger Extraction [54.20039200180071]
我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。
筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。
AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
論文 参考訳(メタデータ) (2021-09-10T08:11:56Z) - A Span-Based Model for Joint Overlapped and Discontinuous Named Entity
Recognition [24.673897695262024]
重なり合いと不連続性の両方を共同で認識できる新しいスパンベースモデルを提案する。
複数のベンチマークデータセットの実験結果から,重なり合った不連続なNERに対して,我々のモデルは高い競争力を持つことが示された。
論文 参考訳(メタデータ) (2021-06-28T02:37:20Z) - A Sequence-to-Set Network for Nested Named Entity Recognition [38.05786148160635]
ネストNERのための新しいシーケンス・ツー・セットニューラルネットワークを提案する。
我々は、非自己回帰デコーダを使用して、1回のパスで最終的なエンティティセットを予測する。
実験により, ネストした3つのNERコーパスに対して, 提案モデルが最先端となることを示す。
論文 参考訳(メタデータ) (2021-05-19T03:10:04Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。