論文の概要: Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2208.14565v1
• Date: Tue, 30 Aug 2022 23:19:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-01 13:04:19.612465
• Title: Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning
• Title（参考訳）: コントラスト学習による名前付きエンティティ認識のためのbiエンコーダの最適化
• Authors: Sheng Zhang, Hao Cheng, Jianfeng Gao, Hoifung Poon
• Abstract要約: 名前付きエンティティ認識(NER)のための効率的なバイエンコーダフレームワークを提案する。 我々はNERを、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題とみなす。 NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。
• 参考スコア（独自算出の注目度）: 80.36076044023581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an efficient bi-encoder framework for named entity recognition (NER), which applies contrastive learning to map candidate text spans and entity types into the same vector representation space. Prior work predominantly approaches NER as sequence labeling or span classification. We instead frame NER as a metric learning problem that maximizes the similarity between the vector representations of an entity mention and its type. This makes it easy to handle nested and flat NER alike, and can better leverage noisy self-supervision signals. A major challenge to this bi-encoder formulation for NER lies in separating non-entity spans from entity mentions. Instead of explicitly labeling all non-entity spans as the same class Outside (O) as in most prior methods, we introduce a novel dynamic thresholding loss, which is learned in conjunction with the standard contrastive loss. Experiments show that our method performs well in both supervised and distantly supervised settings, for nested and flat NER alike, establishing new state of the art across standard datasets in the general domain (e.g., ACE2004, ACE2005) and high-value verticals such as biomedicine (e.g., GENIA, NCBI, BC5CDR, JNLPBA).
• Abstract（参考訳）: 本稿では,同一ベクトル表現空間に候補テキストスパンとエンティティタイプをマップするために対比学習を適用する,名前付きエンティティ認識(ner)のための効率的なバイエンコーダフレームワークを提案する。 先行研究は主にシーケンスラベリングやスパン分類としてnerにアプローチしている。 代わりに、NERは、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題である。 これにより、ネストやフラットナーの扱いが簡単になり、ノイズの多い自己スーパービジョン信号の活用が容易になる。 NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。 すべての非エンティティスパンを従来のメソッドと同じクラス(o)外部に明示的にラベル付ける代わりに、標準のコントラスト損失と組み合わせて学習される新しい動的しきい値損失を導入する。 実験により,本手法は,ネストや平らなNERなどの教師付き環境においても,一般領域における標準データセット(ACE2004,ACE2005)とバイオメディシン(GENIA,NCBI,BC5CDR,JNLPBA)などの高価値垂直領域にまたがって,新たな技術状態を確立することができた。

関連論文リスト

• Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic Segmentation [59.37587762543934]
  本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。 既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。 マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
  論文  参考訳（メタデータ） (2023-10-29T13:18:00Z)
• MProto: Multi-Prototype Network with Denoised Optimal Transport for Distantly Supervised Named Entity Recognition [75.87566793111066]
  本稿では,DS-NERタスクのためのMProtoというノイズロスのプロトタイプネットワークを提案する。 MProtoは、各エンティティタイプを複数のプロトタイプで表現し、クラス内の分散を特徴付ける。 不完全なラベリングからノイズを緩和するために,新しい復号化最適輸送(DOT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T13:02:34Z)
• Named Entity Recognition via Machine Reading Comprehension: A Multi-Task Learning Approach [50.12455129619845]
  Named Entity Recognition (NER) は、テキスト内のエンティティの参照を事前に定義された型に抽出し、分類することを目的としている。 我々は,MRCベースのNERを改善するために,エンティティタイプ間のラベル依存性をマルチタスク学習フレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-09-20T03:15:05Z)
• Gaussian Prior Reinforcement Learning for Nested Named Entity Recognition [52.46740830977898]
  GPRLと呼ばれる新しいSeq2seqモデルを提案し、ネストしたNERタスクをエンティティ三重項列生成プロセスとして定式化する。 3つのネストされたNERデータセットの実験では、GPRLが以前のネストされたNERモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T05:55:34Z)
• Nested Named Entity Recognition as Latent Lexicalized Constituency Parsing [29.705133932275892]
  最近(Fu et al, 2021)は、ネストされたNERに取り組むために、スパンベースの選挙区に適応している。 本研究では, より表現力のある構造, 語彙化された選挙区木を用いて, 成分がキーワードでアノテートされる。 我々はアイズナー・サッタのアルゴリズムを有効活用し,部分的辺縁化と推論を効率的に行う。
  論文  参考訳（メタデータ） (2022-03-09T12:02:59Z)
• Bottom-Up Constituency Parsing and Nested Named Entity Recognition with Pointer Networks [24.337440797369702]
  NER(Constituency parsing and nested named entity recognition)は、典型的なテクスチャ付き構造化予測タスクである。 本稿では,解析に線形ステップを必要とする,ポインタネットワークを用いたボトムアップ解析のための新しいグローバルポインティング機構を提案する。 提案手法は,全 BERT モデル (96.01 F1 スコア) における PTB の最先端性能と,選挙区解析における CTB7 の競合性能を得る。
  論文  参考訳（メタデータ） (2021-10-11T17:01:43Z)
• BoningKnife: Joint Entity Mention Detection and Typing for Nested NER via prior Boundary Knowledge [1.5149438988761574]
  ネストされたNER抽出および認識タスクをよりよく扱うために,境界知識(BoningKnife)を介して検出およびタイピングモデルに言及する共同エンティティを提案する。 BoningKnifeはMentionTaggerとTypeClassifierの2つのモジュールで構成されている。 異なるデータセットに対する実験により、我々の手法は従来の手法よりも優れており、ACE2004、ACE2005、NNEの86.41、85.46、94.2のF1スコアが達成されている。
  論文  参考訳（メタデータ） (2021-07-20T11:44:36Z)
• A Sequence-to-Set Network for Nested Named Entity Recognition [38.05786148160635]
  ネストNERのための新しいシーケンス・ツー・セットニューラルネットワークを提案する。 我々は、非自己回帰デコーダを使用して、1回のパスで最終的なエンティティセットを予測する。 実験により, ネストした3つのNERコーパスに対して, 提案モデルが最先端となることを示す。
  論文  参考訳（メタデータ） (2021-05-19T03:10:04Z)
• Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition [9.809157050048375]
  名前付きエンティティ認識のための2段階エンティティ識別子を提案する。 まず、シードスパンのフィルタリングと境界回帰によってスパン提案を生成し、エンティティの特定を行い、それに対応するカテゴリで境界調整スパン提案をラベル付けする。 本手法は,訓練中のエンティティの境界情報と部分マッチングスパンを効果的に活用する。
  論文  参考訳（メタデータ） (2021-05-14T12:52:34Z)
• Cross-domain Speech Recognition with Unsupervised Character-level Distribution Matching [60.8427677151492]
  2つの領域における各文字間の微粒化適応を行うための文字レベルの分布マッチング手法であるCMatchを提案する。 Libri-Adaptデータセットを用いた実験の結果,提案手法はクロスデバイスとクロス環境の両方で14.39%,16.50%の単語誤り率(WER)を低減できることがわかった。
  論文  参考訳（メタデータ） (2021-04-15T14:36:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。