論文の概要: Coarse-to-Fine Pre-training for Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2010.08210v1
• Date: Fri, 16 Oct 2020 07:39:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 20:56:33.061553
• Title: Coarse-to-Fine Pre-training for Named Entity Recognition
• Title（参考訳）: 名前付きエンティティ認識のための粗と偽の事前学習
• Authors: Mengge Xue, Bowen Yu, Zhenyu Zhang, Tingwen Liu, Yue Zhang, Bin Wang
• Abstract要約: NER固有の事前学習フレームワークを提案し、粗大から細小まで自動的に抽出された実体知識を事前学習モデルに注入する。 本フレームワークは,事前学習したベースラインに対する大幅な改善を実現し,3つのベンチマークに対して,新しい最先端のパフォーマンスを確立する。
• 参考スコア（独自算出の注目度）: 26.00489191164784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: More recently, Named Entity Recognition hasachieved great advances aided by pre-trainingapproaches such as BERT. However, currentpre-training techniques focus on building lan-guage modeling objectives to learn a gen-eral representation, ignoring the named entity-related knowledge. To this end, we proposea NER-specific pre-training framework to in-ject coarse-to-fine automatically mined entityknowledge into pre-trained models. Specifi-cally, we first warm-up the model via an en-tity span identification task by training it withWikipedia anchors, which can be deemed asgeneral-typed entities. Then we leverage thegazetteer-based distant supervision strategy totrain the model extract coarse-grained typedentities. Finally, we devise a self-supervisedauxiliary task to mine the fine-grained namedentity knowledge via clustering.Empiricalstudies on three public NER datasets demon-strate that our framework achieves significantimprovements against several pre-trained base-lines, establishing the new state-of-the-art per-formance on three benchmarks. Besides, weshow that our framework gains promising re-sults without using human-labeled trainingdata, demonstrating its effectiveness in label-few and low-resource scenarios
• Abstract（参考訳）: 最近では、named Entity RecognitionはBERTのような事前学習型アポウキリの助けを借りて大きな進歩を遂げた。 しかし、現在の事前学習技術は、名前付きエンティティ関連の知識を無視して、ジェネラル表現を学習するためのランゲージモデリングの目的を構築することに焦点を当てている。 そこで本研究では, 事前学習モデルに対して, 粗粒から細粒までの自動マイニングを行うための, ner 固有の事前学習フレームワークを提案する。 本稿では,まず,Wikipediaアンカーを用いて学習し,そのモデルを一般型のエンティティとみなすことにより,そのモデルのウォームアップを行う。 次に,セガゼッタを基盤とした遠方監視戦略を用いて粗粒度抽出モデルを訓練する。 最後に,クラスタリングによるきめ細かい名前付き知識のマイニングを目的とした自己教師付き補助的タスクを考案し,これらのフレームワークが事前訓練されたベースラインに対して大幅な改善を達成できることを示す3つのNERデータセットに関する実証的研究を行い,新しい3つのベンチマーク上での最先端のパフォーマンスを確立した。 さらに,当社のフレームワークは,ラベル付きトレーニングデータを用いずに,有望な再sultsを獲得し,ラベルfewおよび低リソースシナリオでの有効性を示す。

関連論文リスト

• A Bayesian Unification of Self-Supervised Clustering and Energy-Based Models [11.007541337967027]
  我々は、最先端の自己教師型学習目標のベイズ分析を行う。 目的関数が既存の自己教師型学習戦略より優れていることを示す。 また、GEDIをニューロシンボリックな枠組みに統合できることを実証した。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• A self-training framework for glaucoma grading in OCT B-scans [6.382852973055393]
  そこで本研究では,OCT B-Scansを用いた緑内障検診のための自己学習型フレームワークを提案する。 2段階の学習手法は、最初のステップで生成された擬似ラベルを利用して、ターゲットドメイン上のトレーニングデータセットを拡大する。 提案する新しい緑内障特異的バックボーンは,遅延空間の埋め込み特性を改良するために,スキップ接続による残像と注意点のモジュールを導入している。
  論文  参考訳（メタデータ） (2021-11-23T10:33:55Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision [49.42215511723874]
  我々は,NERモデルの予測性能を改善するための新しい計算フレームワーク,BONDを提案する。 具体的には,2段階の学習アルゴリズムを提案する。第1段階では,遠隔ラベルを用いて,事前学習された言語モデルをNERタスクに適用する。 第2段階では,遠隔ラベルを廃止し,モデル性能をさらに向上するための自己学習手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T04:55:39Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。