論文の概要: Zero-Shot Learning in Named-Entity Recognition with External Knowledge

• arxiv url: http://arxiv.org/abs/2111.07734v1
• Date: Mon, 15 Nov 2021 13:28:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 23:58:51.906433
• Title: Zero-Shot Learning in Named-Entity Recognition with External Knowledge
• Title（参考訳）: 外部知識を用いた名前付きエンティティ認識におけるゼロショット学習
• Authors: Nguyen Van Hoang and Soeren Hougaard Mulvad and Dexter Neo Yuan Rong and Yang Yue
• Abstract要約: 我々は,ゼロショットと少数ショット学習をNERで行うモデルであるZEROを提案し,未知の領域に一般化する。 ZEROはまず、モデルLUKEを用いて入力文の文脈化された単語表現を取得し、その次元を減少させ、それらを外部知識の埋め込みと直接比較する。 平均マクロF1スコア0.23のNERドメインではZEROが良好に動作し、数ショットの学習ではLUKEよりも優れ、ドメイン内比較では競合スコアさえも達成している。
• 参考スコア（独自算出の注目度）: 4.39139858370436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A significant shortcoming of current state-of-the-art (SOTA) named-entity recognition (NER) systems is their lack of generalization to unseen domains, which poses a major problem since obtaining labeled data for NER in a new domain is expensive and time-consuming. We propose ZERO, a model that performs zero-shot and few-shot learning in NER to generalize to unseen domains by incorporating pre-existing knowledge in the form of semantic word embeddings. ZERO first obtains contextualized word representations of input sentences using the model LUKE, reduces their dimensionality, and compares them directly with the embeddings of the external knowledge, allowing ZERO to be trained to recognize unseen output entities. We find that ZERO performs well on unseen NER domains with an average macro F1 score of 0.23, outperforms LUKE in few-shot learning, and even achieves competitive scores on an in-domain comparison. The performance across source-target domain pairs is shown to be inversely correlated with the pairs' KL divergence.
• Abstract（参考訳）: 現在のSOTA(State-of-the-art Name-entity Recognition)システムの重大な欠点は、未確認領域への一般化の欠如である。 我々は,既存の知識を意味的単語の埋め込み形式に組み込むことで,未知の領域に一般化するために,NERでゼロショットと少数ショット学習を行うモデルZEROを提案する。 ZEROはまず、モデルLUKEを用いて入力文の文脈化された単語表現を取得し、その次元を減少させ、それらを外部知識の埋め込みと直接比較し、ZEROが未知の出力エンティティを認識できるように訓練する。 平均的なマクロ f1 スコア 0.23 の ner ドメインでは zero がうまく動作し,少人数学習では luke を上回り,ドメイン内比較では競合スコアも達成している。 ソース・ターゲット領域のペア間の性能は、ペアのKL分散と逆相関を示す。

関連論文リスト

• Robust Few-Shot Named Entity Recognition with Boundary Discrimination and Correlation Purification [14.998158107063848]
  NER (Few-shot named entity recognition) は、既存の知識を活用して、低リソース領域における新しい名前付きエンティティを認識することを目的としている。 境界識別・相関浄化法(BDCP)を用いた頑健な2段連写NER法を提案する。 スパン検出段階では、エンティティ境界判別モジュールを導入して、エンティティスパンを検出するための高度に区別された境界表現空間を提供する。 エンティティタイピング段階では、干渉情報を最小化してエンティティとコンテキストの相関を浄化する。
  論文  参考訳（メタデータ） (2023-12-13T08:17:00Z)
• HierarchicalContrast: A Coarse-to-Fine Contrastive Learning Framework for Cross-Domain Zero-Shot Slot Filling [4.1940152307593515]
  ドメイン間のゼロショットスロットフィリングは、モデルを学ぶためにソースドメイン知識を活用する上で重要な役割を果たす。 既存のゼロショットスロット充填法では、ターゲット領域での一般化能力が制限されている。 ゼロショットスロットフィリングのための新しい階層型コントラスト学習フレームワーク(HiCL)を提案する。
  論文  参考訳（メタデータ） (2023-10-13T14:23:33Z)
• PromptNER: Prompting For Named Entity Recognition [27.501500279749475]
  本稿では,少数ショットとクロスドメインNERのための最先端アルゴリズムであるPromptNERを紹介する。 PromptNERは、ConLLデータセットのF1スコアの4%(絶対)改善、GENIAデータセットの9%(絶対)改善、FewNERDデータセットの4%(絶対)改善を実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:38:24Z)
• MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective [57.19660234992812]
  NERモデルは標準のNERベンチマークで有望な性能を達成した。 近年の研究では、従来のアプローチはエンティティ参照情報に過度に依存し、OoV(out-of-vocabulary)エンティティ認識の性能が劣っていることが示されている。 我々は、情報理論の観点からこの問題を改善するための新しいNER学習フレームワークであるMINERを提案する。
  論文  参考訳（メタデータ） (2022-04-09T05:18:20Z)
• CONTaiNER: Few-Shot Named Entity Recognition via Contrastive Learning [11.289324473201614]
  既存のアプローチでは、ソースドメインからクラス固有のセマンティック機能と中間表現しか学ばない。 本研究では,Few-Shot NERのトークン間分布距離を最適化する新しいコントラスト学習手法であるCon TaiNERを提案する。 従来のテスト領域 (OntoNotes, CoNLL'03, WNUT '17, GUM) と新しい大規模Few-Shot NERデータセット (Few-NERD) を用いて行った実験では, CON TaiNER が従来の手法よりも3%-13%の絶対F1点で優れていた。
  論文  参考訳（メタデータ） (2021-09-15T21:41:16Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Respecting Domain Relations: Hypothesis Invariance for Domain Generalization [30.14312814723027]
  ドメインの一般化では、トレーニング中に複数のラベル付き非独立および非独立に分散されたソースドメインが利用可能である。 現在、いわゆるドメイン不変表現(DIR)を学ぶことは、ドメインの一般化に対する一般的なアプローチである。
  論文  参考訳（メタデータ） (2020-10-15T08:26:08Z)
• Unsupervised Transfer Learning with Self-Supervised Remedy [60.315835711438936]
  手動ラベルのない新しいドメインにディープネットワークを一般化することは、ディープラーニングにとって難しい。 事前学習された知識は、学習されたドメインや新しいドメインについて強い仮定をしなければ、うまく伝達しない。 本研究は,ラベル付き関連ドメインからの知識伝達により,新規ドメインにおける未ラベル対象データの識別潜在空間を学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-08T16:42:17Z)
• Zero-Resource Cross-Domain Named Entity Recognition [68.83177074227598]
  既存のドメイン名付きエンティティ認識モデルは、多くのラベルなしコーパスや、ターゲットドメイン内のラベル付きNERトレーニングデータに依存している。 外部リソースを一切使用しないドメイン間NERモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-14T09:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。