論文の概要: BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision

• arxiv url: http://arxiv.org/abs/2006.15509v1
• Date: Sun, 28 Jun 2020 04:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 01:57:41.837097
• Title: BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision
• Title（参考訳）: bond: bertが支援するopen-domain name entity recognition
• Authors: Chen Liang, Yue Yu, Haoming Jiang, Siawpeng Er, Ruijia Wang, Tuo Zhao, Chao Zhang
• Abstract要約: 我々は,NERモデルの予測性能を改善するための新しい計算フレームワーク,BONDを提案する。 具体的には,2段階の学習アルゴリズムを提案する。第1段階では,遠隔ラベルを用いて,事前学習された言語モデルをNERタスクに適用する。 第2段階では,遠隔ラベルを廃止し,モデル性能をさらに向上するための自己学習手法を提案する。
• 参考スコア（独自算出の注目度）: 49.42215511723874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the open-domain named entity recognition (NER) problem under distant supervision. The distant supervision, though does not require large amounts of manual annotations, yields highly incomplete and noisy distant labels via external knowledge bases. To address this challenge, we propose a new computational framework -- BOND, which leverages the power of pre-trained language models (e.g., BERT and RoBERTa) to improve the prediction performance of NER models. Specifically, we propose a two-stage training algorithm: In the first stage, we adapt the pre-trained language model to the NER tasks using the distant labels, which can significantly improve the recall and precision; In the second stage, we drop the distant labels, and propose a self-training approach to further improve the model performance. Thorough experiments on 5 benchmark datasets demonstrate the superiority of BOND over existing distantly supervised NER methods. The code and distantly labeled data have been released in https://github.com/cliang1453/BOND.
• Abstract（参考訳）: 我々は,オープンドメインのエンティティ認識(ner)問題を遠隔監視下で検討する。 遠隔の監督は、大量の手動アノテーションを必要としないが、外部の知識ベースを介して高度に不完全でノイズの多い遠方のラベルを生成する。 この課題に対処するために、NERモデルの予測性能を改善するために、事前学習された言語モデル(BERTやRoBERTaなど)のパワーを活用する新しい計算フレームワークBONDを提案する。 具体的には,2段階の学習アルゴリズムを提案する。第1段階では,事前学習された言語モデルを遠隔ラベルを用いてnerタスクに適応させ,リコールと精度を大幅に向上させる。第2段階では,遠方のラベルをドロップし,モデルパフォーマンスをさらに向上させるための自己学習アプローチを提案する。 5つのベンチマークデータセットの詳細な実験は、既存の遠隔管理NER法よりもBONDの方が優れていることを示した。 コードと遠いラベル付きデータはhttps://github.com/cliang1453/BOND.comで公開されている。

関連論文リスト

• SCANNER: Knowledge-Enhanced Approach for Robust Multi-modal Named Entity Recognition of Unseen Entities [10.193908215351497]
  3つのNER変種を効果的に扱えるモデルであるSCANNERを提案する。 SCANNERは2段階構造であり、最初の段階でエンティティ候補を抽出し、知識を得るためにクエリとして使用する。 NERデータセットのノイズの多いアノテーションから生じる課題に対処するために,新しい自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T13:05:41Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Gaussian Prior Reinforcement Learning for Nested Named Entity Recognition [52.46740830977898]
  GPRLと呼ばれる新しいSeq2seqモデルを提案し、ネストしたNERタスクをエンティティ三重項列生成プロセスとして定式化する。 3つのネストされたNERデータセットの実験では、GPRLが以前のネストされたNERモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T05:55:34Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Named Entity Recognition in the Style of Object Detection [5.228551526328475]
  名前付き実体認識(NER)の二段階法を提案する。 まず、地域提案ネットワークが地域候補を生成し、2段階モデルがエンティティを識別して分類し、最終的な予測を行う。 我々は、ネストした名前付きエンティティ認識タスクace2005とgeniaでモデルをテストし、それぞれ85.6$%$と76.8$%$のf1スコアを得た。
  論文  参考訳（メタデータ） (2021-01-26T22:47:05Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Coarse-to-Fine Pre-training for Named Entity Recognition [26.00489191164784]
  NER固有の事前学習フレームワークを提案し、粗大から細小まで自動的に抽出された実体知識を事前学習モデルに注入する。 本フレームワークは,事前学習したベースラインに対する大幅な改善を実現し,3つのベンチマークに対して,新しい最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2020-10-16T07:39:20Z)
• Named Entity Recognition without Labelled Data: A Weak Supervision Approach [23.05371427663683]
  本稿では,ラベル付きデータがない場合のNERモデルの学習方法を提案する。 このアプローチは、ターゲットドメインからテキストを自動的にアノテートするために、幅広いラベリング関数に依存している。 シーケンスラベリングモデルは、最終的にこの統一アノテーションに基づいて訓練することができる。
  論文  参考訳（メタデータ） (2020-04-30T12:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。