論文の概要: Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training

• arxiv url: http://arxiv.org/abs/2109.05003v1
• Date: Fri, 10 Sep 2021 17:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:41:54.684239
• Title: Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training
• Title（参考訳）: ノイズロバスト学習と言語モデル強化による遠隔教師付きエンティティ認識
• Authors: Yu Meng, Yunyi Zhang, Jiaxin Huang, Xuan Wang, Yu Zhang, Heng Ji, Jiawei Han
• Abstract要約: 遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 66.80558875393565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of training named entity recognition (NER) models using only distantly-labeled data, which can be automatically obtained by matching entity mentions in the raw text with entity types in a knowledge base. The biggest challenge of distantly-supervised NER is that the distant supervision may induce incomplete and noisy labels, rendering the straightforward application of supervised learning ineffective. In this paper, we propose (1) a noise-robust learning scheme comprised of a new loss function and a noisy label removal step, for training NER models on distantly-labeled data, and (2) a self-training method that uses contextualized augmentations created by pre-trained language models to improve the generalization ability of the NER model. On three benchmark datasets, our method achieves superior performance, outperforming existing distantly-supervised NER models by significant margins.
• Abstract（参考訳）: 本研究では,テキスト中のエンティティの言及と知識ベースにおけるエンティティの型をマッチングすることで,遠隔ラベル付きデータのみを用いて名前付きエンティティ認識(NER)モデルを訓練する問題について検討する。 遠方監督NERの最大の課題は、遠方監督が不完全でノイズの多いラベルを誘導し、教師付き学習の直接的な適用が効果的でないことである。 本稿では,NERモデルを遠隔ラベル付きデータで学習するための,新たな損失関数とノイズラベル除去ステップからなるノイズローバスト学習手法を提案し,また,NERモデルの一般化能力を向上させるために,事前学習された言語モデルによって生成された文脈拡張を用いた自己学習手法を提案する。 3つのベンチマークデータセットにおいて,提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を示す。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• SCANNER: Knowledge-Enhanced Approach for Robust Multi-modal Named Entity Recognition of Unseen Entities [10.193908215351497]
  3つのNER変種を効果的に扱えるモデルであるSCANNERを提案する。 SCANNERは2段階構造であり、最初の段階でエンティティ候補を抽出し、知識を得るためにクエリとして使用する。 NERデータセットのノイズの多いアノテーションから生じる課題に対処するために,新しい自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T13:05:41Z)
• Improving a Named Entity Recognizer Trained on Noisy Data with a Few Clean Instances [55.37242480995541]
  クリーンなインスタンスの小さなセットから,ノイズの多いNERデータを誘導することで,ノイズを発生させる手法を提案する。 メインのNERモデルとともに、判別器モデルをトレーニングし、その出力を使用してサンプルの重み付けを校正します。 クラウドソーシングと遠隔監視データセットの結果から,提案手法は少ないガイダンスセットで継続的に性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-10-25T17:23:37Z)
• RockNER: A Simple Method to Create Adversarial Examples for Evaluating the Robustness of Named Entity Recognition Models [32.806292167848156]
  名前付きエンティティ認識モデルのロバスト性を評価するためにRockNERを提案する。 ターゲットエンティティを、Wikidataの同じセマンティッククラスの他のエンティティに置き換える。 文脈レベルでは、事前訓練された言語モデルを用いて単語置換を生成する。
  論文  参考訳（メタデータ） (2021-09-12T21:30:21Z)
• AutoTriggER: Label-Efficient and Robust Named Entity Recognition with Auxiliary Trigger Extraction [54.20039200180071]
  我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。 筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。 AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
  論文  参考訳（メタデータ） (2021-09-10T08:11:56Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Coarse-to-Fine Pre-training for Named Entity Recognition [26.00489191164784]
  NER固有の事前学習フレームワークを提案し、粗大から細小まで自動的に抽出された実体知識を事前学習モデルに注入する。 本フレームワークは,事前学習したベースラインに対する大幅な改善を実現し,3つのベンチマークに対して,新しい最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2020-10-16T07:39:20Z)
• BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision [49.42215511723874]
  我々は,NERモデルの予測性能を改善するための新しい計算フレームワーク,BONDを提案する。 具体的には,2段階の学習アルゴリズムを提案する。第1段階では,遠隔ラベルを用いて,事前学習された言語モデルをNERタスクに適用する。 第2段階では,遠隔ラベルを廃止し,モデル性能をさらに向上するための自己学習手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T04:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。