論文の概要: Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning

• arxiv url: http://arxiv.org/abs/2404.06970v1
• Date: Wed, 10 Apr 2024 12:31:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 14:40:47.730277
• Title: Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning
• Title（参考訳）: Entity-Aware Contrastive Learningを用いたFew-shot NERのためのハイブリッドマルチステージデコーディング
• Authors: Peipei Liu, Gaosheng Wang, Ying Tong, Jian Liang, Zhenquan Ding, Hongsong Zhu,
• Abstract要約: 名前付きエンティティ認識は、ラベル付けされたいくつかの例に基づいて、新しいタイプの名前付きエンティティを識別できる。 MsFNER(Entity-Aware Contrastive Learning)を用いたFew-shot NERのためのハイブリッド多段復号法を提案する。 MsFNERは一般的なNERを、エンティティスパン検出とエンティティ分類の2つのステージに分割する。
• 参考スコア（独自算出の注目度）: 32.62763647036567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot named entity recognition can identify new types of named entities based on a few labeled examples. Previous methods employing token-level or span-level metric learning suffer from the computational burden and a large number of negative sample spans. In this paper, we propose the Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning (MsFNER), which splits the general NER into two stages: entity-span detection and entity classification. There are 3 processes for introducing MsFNER: training, finetuning, and inference. In the training process, we train and get the best entity-span detection model and the entity classification model separately on the source domain using meta-learning, where we create a contrastive learning module to enhance entity representations for entity classification. During finetuning, we finetune the both models on the support dataset of target domain. In the inference process, for the unlabeled data, we first detect the entity-spans, then the entity-spans are jointly determined by the entity classification model and the KNN. We conduct experiments on the open FewNERD dataset and the results demonstrate the advance of MsFNER.
• Abstract（参考訳）: 名前付きエンティティ認識は、ラベル付けされたいくつかの例に基づいて、新しいタイプの名前付きエンティティを識別できる。 トークンレベルのメトリクス学習やスパンレベルのメトリクス学習を用いる従来の方法は、計算負荷と多くの負のサンプルスパンに悩まされていた。 本稿では,汎用NERをエンティティ・スパン検出とエンティティ分類という2つの段階に分割した,エンティティ・アウェア・コントラスト・ラーニング(MsFNER)を用いたFew-shot NERのハイブリッド多段階デコーディングを提案する。 MsFNERを導入するには、トレーニング、微調整、推論の3つのプロセスがある。 学習過程において、メタラーニングを用いて、ソースドメイン上で最高のエンティティ・スパン検出モデルとエンティティ分類モデルを個別に訓練、取得し、エンティティ分類のためのエンティティ表現を強化するためのコントラスト学習モジュールを作成する。 微調整の間、ターゲットドメインのサポートデータセット上で両方のモデルを微調整します。 推論プロセスでは、ラベルのないデータに対して、まずエンティティスパンを検出し、エンティティスパンはエンティティ分類モデルとKNNによって共同で決定される。 オープンなFewNERDデータセットの実験を行い、MsFNERの進歩を実証した。

関連論文リスト

• In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
  数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。 我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。 EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
  論文  参考訳（メタデータ） (2024-02-02T06:57:53Z)
• Named Entity Recognition via Machine Reading Comprehension: A Multi-Task Learning Approach [50.12455129619845]
  Named Entity Recognition (NER) は、テキスト内のエンティティの参照を事前に定義された型に抽出し、分類することを目的としている。 我々は,MRCベースのNERを改善するために,エンティティタイプ間のラベル依存性をマルチタスク学習フレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-09-20T03:15:05Z)
• PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search [56.81939214465558]
  本稿では,近距離探索による数発NERの新規プロンプト法であるPromptNERを提案する。 我々は、エンティティカテゴリ情報を含むプロンプトを使用してラベルのプロトタイプを構築する。 Few-NERDデータセットとCrossNERデータセットの広範な実験により,本モデルが最先端手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-05-20T15:47:59Z)
• Multi-task Transformer with Relation-attention and Type-attention for Named Entity Recognition [35.44123819012004]
  名前付きエンティティ認識(NER)は自然言語処理において重要な研究課題である。 本稿では,エンティティ境界検出タスクを名前付きエンティティ認識タスクに組み込むマルチタスク変換器を提案する。
  論文  参考訳（メタデータ） (2023-03-20T05:11:22Z)
• Nested Named Entity Recognition from Medical Texts: An Adaptive Shared Network Architecture with Attentive CRF [53.55504611255664]
  ネスト現象によるジレンマを解決するために,ASACと呼ばれる新しい手法を提案する。 提案手法は,適応共有(AS)部と注意条件付きランダムフィールド(ACRF)モジュールの2つの鍵モジュールを含む。 我々のモデルは、異なるカテゴリのエンティティ間の暗黙の区別と関係をキャプチャすることで、より良いエンティティ表現を学ぶことができる。
  論文  参考訳（メタデータ） (2022-11-09T09:23:56Z)
• SpanProto: A Two-stage Span-based Prototypical Network for Few-shot Named Entity Recognition [45.012327072558975]
  名前付きエンティティ認識(NER)は、アノテーション付きデータが少ない名前付きエンティティを識別することを目的としている。 そこで本研究では,2段階のアプローチを用いて,数発のNERに対処するセミナルスパンベースプロトタイプネットワーク(SpanProto)を提案する。 スパン抽出の段階では、逐次タグを大域境界行列に変換し、モデルが明示的な境界情報に集中できるようにする。 分類に言及するために、原型学習を活用してラベル付きスパンのセマンティック表現をキャプチャし、新しいクラスエンティティへの適応性を向上する。
  論文  参考訳（メタデータ） (2022-10-17T12:59:33Z)
• A Sequence-to-Set Network for Nested Named Entity Recognition [38.05786148160635]
  ネストNERのための新しいシーケンス・ツー・セットニューラルネットワークを提案する。 我々は、非自己回帰デコーダを使用して、1回のパスで最終的なエンティティセットを予測する。 実験により, ネストした3つのNERコーパスに対して, 提案モデルが最先端となることを示す。
  論文  参考訳（メタデータ） (2021-05-19T03:10:04Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
  我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。 WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-10T06:56:52Z)
• Zero-Resource Cross-Domain Named Entity Recognition [68.83177074227598]
  既存のドメイン名付きエンティティ認識モデルは、多くのラベルなしコーパスや、ターゲットドメイン内のラベル付きNERトレーニングデータに依存している。 外部リソースを一切使用しないドメイン間NERモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-14T09:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。