論文の概要: Deep Span Representations for Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2210.04182v2
• Date: Tue, 9 May 2023 08:09:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 16:25:33.947525
• Title: Deep Span Representations for Named Entity Recognition
• Title（参考訳）: 名前付きエンティティ認識のためのディープスパン表現
• Authors: Enwei Zhu, Yiyang Liu, Jinpeng Li
• Abstract要約: 既存のスパンベースのNERシステムは、トークン表現をスパン表現に浅く集約する。 本稿では,標準変圧器とスパン変圧器を組み合わせたDSpERTを提案する。 後者はクエリとして低層スパン表現を使用し、トークン表現をキーと値として集約する。
• 参考スコア（独自算出の注目度）: 1.990310782671166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Span-based models are one of the most straightforward methods for named entity recognition (NER). Existing span-based NER systems shallowly aggregate the token representations to span representations. However, this typically results in significant ineffectiveness for long-span entities, a coupling between the representations of overlapping spans, and ultimately a performance degradation. In this study, we propose DSpERT (Deep Span Encoder Representations from Transformers), which comprises a standard Transformer and a span Transformer. The latter uses low-layered span representations as queries, and aggregates the token representations as keys and values, layer by layer from bottom to top. Thus, DSpERT produces span representations of deep semantics. With weight initialization from pretrained language models, DSpERT achieves performance higher than or competitive with recent state-of-the-art systems on eight NER benchmarks. Experimental results verify the importance of the depth for span representations, and show that DSpERT performs particularly well on long-span entities and nested structures. Further, the deep span representations are well structured and easily separable in the feature space.
• Abstract（参考訳）: Spanベースのモデルは、名前付きエンティティ認識(NER)の最も単純な方法の1つである。 既存のスパンベースのNERシステムは、トークン表現をスパン表現に浅く集約する。 しかし、これは典型的には、長寿命のエンティティ、重複するスパンの表現間の結合、そして最終的には性能劣化に重大な効果をもたらす。 本研究では,標準変換器とスパン変換器を組み合わせたDSpERT(Deep Span Encoder Representations from Transformers)を提案する。 後者はクエリとして低層スパン表現を使用し、トークン表現をキーと値として集約する。 したがって、DSpERTは深い意味論のスパン表現を生成する。 事前訓練された言語モデルからの重み初期化により、DSpERTは8つのNERベンチマーク上の最新の最先端システムよりも高い性能を達成する。 実験結果はスパン表現における深さの重要性を検証し,dspertが長寿命エンティティとネスト構造において特によく機能することを示す。 さらに、ディープスパン表現は、機能空間においてよく構造化され、容易に分離できる。

関連論文リスト

• PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search [56.81939214465558]
  本稿では,近距離探索による数発NERの新規プロンプト法であるPromptNERを提案する。 我々は、エンティティカテゴリ情報を含むプロンプトを使用してラベルのプロトタイプを構築する。 Few-NERDデータセットとCrossNERデータセットの広範な実験により,本モデルが最先端手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-05-20T15:47:59Z)
• Span-based Named Entity Recognition by Generating and Compressing Information [23.444967843156086]
  我々は,2種類のIBモデルを一つのシステムに統合し,名前付きエンティティ認識を強化することを提案する。 5つの異なるコーパスの実験は、生成モデルと情報圧縮モデルの両方を共同で訓練することで、ベースラインスパンベースのNERシステムの性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2023-02-10T17:40:51Z)
• SpanProto: A Two-stage Span-based Prototypical Network for Few-shot Named Entity Recognition [45.012327072558975]
  名前付きエンティティ認識(NER)は、アノテーション付きデータが少ない名前付きエンティティを識別することを目的としている。 そこで本研究では,2段階のアプローチを用いて,数発のNERに対処するセミナルスパンベースプロトタイプネットワーク(SpanProto)を提案する。 スパン抽出の段階では、逐次タグを大域境界行列に変換し、モデルが明示的な境界情報に集中できるようにする。 分類に言及するために、原型学習を活用してラベル付きスパンのセマンティック表現をキャプチャし、新しいクラスエンティティへの適応性を向上する。
  論文  参考訳（メタデータ） (2022-10-17T12:59:33Z)
• Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning [80.36076044023581]
  名前付きエンティティ認識(NER)のための効率的なバイエンコーダフレームワークを提案する。 我々はNERを、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題とみなす。 NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。
  論文  参考訳（メタデータ） (2022-08-30T23:19:04Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Good Visual Guidance Makes A Better Extractor: Hierarchical Visual Prefix for Multimodal Entity and Relation Extraction [88.6585431949086]
  本稿では,視覚的な実体と関係抽出のための階層型ビジュアルプレフィックス融合NeTwork(HVPNeT)を提案する。 視覚的表現をプラグ可能な視覚的接頭辞とみなして, 誤りに敏感な予測決定のためのテキスト的表現を導出する。 3つのベンチマークデータセットの実験により,本手法の有効性が実証され,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2022-05-07T02:10:55Z)
• Hierarchical Transformer Model for Scientific Named Entity Recognition [0.20646127669654832]
  名前付きエンティティ認識のためのシンプルで効果的なアプローチを提案する。 提案手法の主な考え方は、入力サブワードシーケンスをBERTのような事前学習された変換器で符号化することである。 科学的NERのための3つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-03-28T12:59:06Z)
• Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
  我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。 提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。 USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
  論文  参考訳（メタデータ） (2022-01-18T07:17:40Z)
• Boosting Span-based Joint Entity and Relation Extraction via Squence Tagging Mechanism [10.894755638322]
  Spanベースの関節抽出は、テキストスパン形式で名前付きエンティティ認識(NER)と関係抽出(RE)を同時に行う。 近年の研究では、トークンラベルは重要なタスク固有の情報を伝達し、トークンのセマンティクスを豊かにすることができることが示されている。 本稿では,Span-based Network(STSN)を提案する。これはSpan-based joint extrac-tion Networkで,トークンBIOラベル情報によって拡張されている。
  論文  参考訳（メタデータ） (2021-05-21T01:10:03Z)
• Dependency Parsing based Semantic Representation Learning with Graph Neural Network for Enhancing Expressiveness of Text-to-Speech [49.05471750563229]
  文の依存性関係を考慮したグラフニューラルネットワークに基づく意味表現学習手法を提案する。 提案手法は,LJSpeech と Bilzzard Challenge 2013 のデータセットにおいて,バニラBERT の機能をベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-14T13:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。