Fugu-MT 論文翻訳(概要): Application of Pre-training Models in Named Entity Recognition

論文の概要: Application of Pre-training Models in Named Entity Recognition

arxiv url: http://arxiv.org/abs/2002.08902v1
Date: Sun, 9 Feb 2020 08:18:20 GMT
ステータス: 処理完了
システム内更新日: 2023-01-02 14:07:28.813747
Title: Application of Pre-training Models in Named Entity Recognition
Title（参考訳）: 名前付きエンティティ認識における事前学習モデルの応用
Authors: Yu Wang, Yining Sun, Zuchang Ma, Lisheng Gao, Yang Xu, Ting Sun
Abstract要約: 本稿では,BERT,ERNIE,ERNIE2.0-tiny,RoBERTaの4つの事前学習モデルのアーキテクチャと事前学習タスクを紹介する。我々はこれらの事前学習モデルをNERタスクに微調整して適用し、異なるモデルアーキテクチャと事前学習タスクがNERタスクに与える影響を比較した。実験の結果,RoBERTaはMSRA-2006データセット上で最先端の結果を得た。
参考スコア（独自算出の注目度）: 5.285449619478964
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Named Entity Recognition (NER) is a fundamental Natural Language Processing (NLP) task to extract entities from unstructured data. The previous methods for NER were based on machine learning or deep learning. Recently, pre-training models have significantly improved performance on multiple NLP tasks. In this paper, firstly, we introduce the architecture and pre-training tasks of four common pre-training models: BERT, ERNIE, ERNIE2.0-tiny, and RoBERTa. Then, we apply these pre-training models to a NER task by fine-tuning, and compare the effects of the different model architecture and pre-training tasks on the NER task. The experiment results showed that RoBERTa achieved state-of-the-art results on the MSRA-2006 dataset.
Abstract（参考訳）: 名前付きエンティティ認識(NER)は、非構造化データからエンティティを抽出する自然言語処理(NLP)タスクである。 NERの以前の手法は、機械学習やディープラーニングに基づいていた。近年,複数のNLPタスクの性能が大幅に向上した。本稿では、まず、BERT、ERNIE、ERNIE2.0-tiny、RoBERTaの4つの一般的な事前学習モデルのアーキテクチャと事前学習タスクを紹介する。次に,これらの事前学習モデルを微調整によりnerタスクに適用し,nerタスクに対する異なるモデルアーキテクチャと事前学習タスクの効果を比較する。実験の結果,RoBERTaはMSRA-2006データセット上で最先端の結果を得た。

関連論文リスト

PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
論文参考訳（メタデータ） (2023-05-19T16:25:43Z)
Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition [32.92597650149752]
NER, FFF-NER のための新しいファインチューニングフレームワークを提案する。具体的には,3種類のトークン,"is-entity","which-type","bracket"を導入し,NERの微調整を(仮に)トークンの予測や生成として定式化することができる。我々は、シーケンスラベリング、プロトタイプメタラーニング、プロンプトベースアプローチなど、既存の微調整戦略に対する大幅な改善を観察する。
論文参考訳（メタデータ） (2022-05-24T05:36:13Z)
ANNA: Enhanced Language Representation for Question Answering [5.713808202873983]
事前学習モデルでは,各アプローチが個別にパフォーマンスにどう影響するかを示し,そのアプローチが共同で検討されている。本稿では,事前学習タスクの拡張と,近隣のトークンにもっと参加して,事前学習言語モデリングのコンテキストの豊かさを把握できる新しい近隣認識機構を提案する。我々の最良のモデルは、SQuAD 1.1上で95.7% F1と90.6% EMの新たな最先端結果を実現し、RoBERTa、ALBERT、ELECTRA、XLNetといった既存のトレーニング済み言語モデルよりも優れている。
論文参考訳（メタデータ） (2022-03-28T05:26:52Z)
NER-BERT: A Pre-trained Model for Low-Resource Entity Tagging [40.57720568571513]
比較的高品質な大規模NERコーパスを構築し,生成したデータセットに基づいてNER-BERTモデルを事前学習する。実験結果から,当社の事前学習モデルは,低リソースシナリオにおけるBERTと他の強力なベースラインを著しく上回ることを示す。
論文参考訳（メタデータ） (2021-12-01T10:45:02Z)
RockNER: A Simple Method to Create Adversarial Examples for Evaluating the Robustness of Named Entity Recognition Models [32.806292167848156]
名前付きエンティティ認識モデルのロバスト性を評価するためにRockNERを提案する。ターゲットエンティティを、Wikidataの同じセマンティッククラスの他のエンティティに置き換える。文脈レベルでは、事前訓練された言語モデルを用いて単語置換を生成する。
論文参考訳（メタデータ） (2021-09-12T21:30:21Z)
Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文参考訳（メタデータ） (2021-09-10T17:19:56Z)
Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
論文参考訳（メタデータ） (2021-09-07T21:05:56Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)
Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。