論文の概要: Multi-task Transformer with Relation-attention and Type-attention for Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2303.10870v1
• Date: Mon, 20 Mar 2023 05:11:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 16:51:19.632905
• Title: Multi-task Transformer with Relation-attention and Type-attention for Named Entity Recognition
• Title（参考訳）: 名前付きエンティティ認識のための関係注意型マルチタスク変換器
• Authors: Ying Mo, Hongyin Tang, Jiahao Liu, Qifan Wang, Zenglin Xu, Jingang Wang, Wei Wu, Zhoujun Li
• Abstract要約: 名前付きエンティティ認識(NER)は自然言語処理において重要な研究課題である。 本稿では,エンティティ境界検出タスクを名前付きエンティティ認識タスクに組み込むマルチタスク変換器を提案する。
• 参考スコア（独自算出の注目度）: 35.44123819012004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Named entity recognition (NER) is an important research problem in natural language processing. There are three types of NER tasks, including flat, nested and discontinuous entity recognition. Most previous sequential labeling models are task-specific, while recent years have witnessed the rising of generative models due to the advantage of unifying all NER tasks into the seq2seq model framework. Although achieving promising performance, our pilot studies demonstrate that existing generative models are ineffective at detecting entity boundaries and estimating entity types. This paper proposes a multi-task Transformer, which incorporates an entity boundary detection task into the named entity recognition task. More concretely, we achieve entity boundary detection by classifying the relations between tokens within the sentence. To improve the accuracy of entity-type mapping during decoding, we adopt an external knowledge base to calculate the prior entity-type distributions and then incorporate the information into the model via the self and cross-attention mechanisms. We perform experiments on an extensive set of NER benchmarks, including two flat, three nested, and three discontinuous NER datasets. Experimental results show that our approach considerably improves the generative NER model's performance.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)は自然言語処理において重要な研究課題である。 フラット、ネスト、不連続なエンティティ認識を含む3種類のNERタスクがある。 以前のシーケンシャルなラベリングモデルのほとんどはタスク固有のものであるが、近年はすべてのNERタスクをSeq2seqモデルフレームワークに統合する利点から、生成モデルの増加を目撃している。 有望な性能を達成する一方で,既存の生成モデルが実体境界の検出や実体型の推定に有効でないことを示す。 本稿では,エンティティ境界検出タスクを名前付きエンティティ認識タスクに組み込むマルチタスク変換器を提案する。 より具体的には、文内のトークン間の関係を分類することで、エンティティ境界検出を実現する。 復号時のエンティティ型マッピングの精度を向上させるため,外部知識ベースを用いて先行するエンティティ型分布を計算し,その情報を自己および相互接続機構を介してモデルに組み込む。 2つのフラット、3つのネスト、3つの不連続なNERデータセットを含む、広範なNERベンチマークで実験を行う。 実験の結果,本手法は生成NERモデルの性能を大幅に改善することが示された。

関連論文リスト

• ToNER: Type-oriented Named Entity Recognition with Generative Language Model [14.11486479935094]
  生成モデルに基づく新しいNERフレームワーク、すなわちToNERを提案する。 ToNERでは、文中に最も現れる可能性が最も高いエンティティタイプを特定するために、最初は型マッチングモデルが提案されている。 我々は、生成モデルのエンコーダを微調整するために、複数のバイナリ分類タスクを追加し、入力文の洗練された表現を生成する。
  論文  参考訳（メタデータ） (2024-04-14T05:13:37Z)
• Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning [32.62763647036567]
  名前付きエンティティ認識は、ラベル付けされたいくつかの例に基づいて、新しいタイプの名前付きエンティティを識別できる。 MsFNER(Entity-Aware Contrastive Learning)を用いたFew-shot NERのためのハイブリッド多段復号法を提案する。 MsFNERは一般的なNERを、エンティティスパン検出とエンティティ分類の2つのステージに分割する。
  論文  参考訳（メタデータ） (2024-04-10T12:31:09Z)
• In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
  数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。 我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。 EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
  論文  参考訳（メタデータ） (2024-02-02T06:57:53Z)
• NERetrieve: Dataset for Next Generation Named Entity Recognition and Retrieval [49.827932299460514]
  我々は、大きな言語モデルによって提供される能力は、NER研究の終わりではなく、むしろエキサイティングな始まりであると主張する。 我々は、NERタスクの3つの変種と、それらをサポートするデータセットを示す。 500のエンティティタイプをカバーする400万段落の,大規模で銀の注釈付きコーパスを提供する。
  論文  参考訳（メタデータ） (2023-10-22T12:23:00Z)
• Named Entity Recognition via Machine Reading Comprehension: A Multi-Task Learning Approach [50.12455129619845]
  Named Entity Recognition (NER) は、テキスト内のエンティティの参照を事前に定義された型に抽出し、分類することを目的としている。 我々は,MRCベースのNERを改善するために,エンティティタイプ間のラベル依存性をマルチタスク学習フレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-09-20T03:15:05Z)
• Spatial-Temporal Graph Enhanced DETR Towards Multi-Frame 3D Object Detection [54.041049052843604]
  STEMDは,多フレーム3Dオブジェクト検出のためのDETRのようなパラダイムを改良した,新しいエンドツーエンドフレームワークである。 まず、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。 最後に、ネットワークが正のクエリと、ベストマッチしない他の非常に類似したクエリを区別することが課題となる。
  論文  参考訳（メタデータ） (2023-07-01T13:53:14Z)
• Gaussian Prior Reinforcement Learning for Nested Named Entity Recognition [52.46740830977898]
  GPRLと呼ばれる新しいSeq2seqモデルを提案し、ネストしたNERタスクをエンティティ三重項列生成プロセスとして定式化する。 3つのネストされたNERデータセットの実験では、GPRLが以前のネストされたNERモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T05:55:34Z)
• Unified Named Entity Recognition as Word-Word Relation Classification [25.801945832005504]
  我々は、統一NERを単語関係分類、すなわちW2NERとしてモデル化する新しい方法を提案する。 このアーキテクチャは、エンティティワード間の隣り合う関係を効果的にモデル化することにより、統一NERのカーネルボトルネックを解決する。 W2NERスキームに基づいて,統一NERを単語ペアの2次元グリッドとしてモデル化するニューラルネットワークフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-12-19T06:11:07Z)
• AutoTriggER: Label-Efficient and Robust Named Entity Recognition with Auxiliary Trigger Extraction [54.20039200180071]
  我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。 筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。 AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
  論文  参考訳（メタデータ） (2021-09-10T08:11:56Z)
• A Sequence-to-Set Network for Nested Named Entity Recognition [38.05786148160635]
  ネストNERのための新しいシーケンス・ツー・セットニューラルネットワークを提案する。 我々は、非自己回帰デコーダを使用して、1回のパスで最終的なエンティティセットを予測する。 実験により, ネストした3つのNERコーパスに対して, 提案モデルが最先端となることを示す。
  論文  参考訳（メタデータ） (2021-05-19T03:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。