論文の概要: Exploring Cross-sentence Contexts for Named Entity Recognition with BERT
- arxiv url: http://arxiv.org/abs/2006.01563v2
- Date: Thu, 17 Dec 2020 16:32:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 00:31:39.119390
- Title: Exploring Cross-sentence Contexts for Named Entity Recognition with BERT
- Title（参考訳）: BERTを用いた名前付きエンティティ認識のためのクロスセンスコンテキストの探索
- Authors: Jouni Luoma, Sampo Pyysalo
- Abstract要約: 本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。
BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。
そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
- 参考スコア（独自算出の注目度）: 1.4998865865537996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Named entity recognition (NER) is frequently addressed as a sequence
classification task where each input consists of one sentence of text. It is
nevertheless clear that useful information for the task can often be found
outside of the scope of a single-sentence context. Recently proposed
self-attention models such as BERT can both efficiently capture long-distance
relationships in input as well as represent inputs consisting of several
sentences, creating new opportunitites for approaches that incorporate
cross-sentence information in natural language processing tasks. In this paper,
we present a systematic study exploring the use of cross-sentence information
for NER using BERT models in five languages. We find that adding context in the
form of additional sentences to BERT input systematically increases NER
performance on all of the tested languages and models. Including multiple
sentences in each input also allows us to study the predictions of the same
sentences in different contexts. We propose a straightforward method,
Contextual Majority Voting (CMV), to combine different predictions for
sentences and demonstrate this to further increase NER performance with BERT.
Our approach does not require any changes to the underlying BERT architecture,
rather relying on restructuring examples for training and prediction.
Evaluation on established datasets, including the CoNLL'02 and CoNLL'03 NER
benchmarks, demonstrates that our proposed approach can improve on the
state-of-the-art NER results on English, Dutch, and Finnish, achieves the best
reported BERT-based results on German, and is on par with performance reported
with other BERT-based approaches in Spanish. We release all methods implemented
in this work under open licenses.
- Abstract（参考訳）: 名前付きエンティティ認識(NER)はしばしば、各入力が1文のテキストからなるシーケンス分類タスクとして扱われる。
にもかかわらず、タスクの有用な情報が単一文コンテキストの範囲外にあることがしばしばあることは明らかである。
最近提案されたBERTのような自己認識モデルは、入力中の長距離関係を効率的にキャプチャし、複数の文からなる入力を表現し、自然言語処理タスクにクロスセンス情報を組み込んだアプローチのための新しいオポチュナイトを作成することができる。
本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。
BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が体系的に向上することがわかった。
各入力に複数の文を含めることで、異なる文脈で同じ文の予測を研究することもできる。
そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
我々のアプローチでは、トレーニングや予測のために再構成例に頼るのではなく、基盤となるBERTアーキテクチャを変更する必要はない。
CoNLL'02とCoNLL'03 NERベンチマークを含む確立されたデータセットの評価は、我々の提案した手法が、英語、オランダ語、フィンランド語における最先端のNER結果を改善し、ドイツで報告されたBERTベースの最良の結果が得られることを示す。
この作業で実装されたすべてのメソッドをオープンライセンスでリリースします。
関連論文リスト
- In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。
我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。
EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
論文 参考訳（メタデータ） (2024-02-02T06:57:53Z) - Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である
本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。
本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文 参考訳（メタデータ） (2022-12-19T11:26:23Z) - CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual
Labeled Sequence Translation [113.99145386490639]
言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。
ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。
多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
論文 参考訳（メタデータ） (2022-10-13T13:32:36Z) - BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives [0.0]
BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。
本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
論文 参考訳（メタデータ） (2022-01-10T15:05:05Z) - ConSERT: A Contrastive Framework for Self-Supervised Sentence
Representation Transfer [19.643512923368743]
本稿では,自己監督型文表現伝達のためのコントラストフレームワークであるConSERTを提案する。
ラベルのないテキストを利用することで、ConSERTはBERT由来の文表現の崩壊問題を解消する。
STSデータセットの実験では、ConSERTは以前の最先端よりも8%の相対的な改善を達成している。
論文 参考訳（メタデータ） (2021-05-25T08:15:01Z) - Improving BERT with Syntax-aware Local Attention [14.70545694771721]
そこで本研究では,構文構造における距離を対象とする局所的注意度(局所注意度)を提案する。
文分類やシーケンスラベリングタスクなど,シングルセンテンスベンチマークの各種実験を行った。
我々のモデルは、構文的に関連のある単語により注意を払って、より良いパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-12-30T13:29:58Z) - Table Search Using a Deep Contextualized Language Model [20.041167804194707]
本稿では、アドホックテーブル検索のタスクに、文脈化言語モデルBERTを用いる。
本稿では,テーブル検索における先行文献の特徴を取り入れた手法を提案し,BERTと共同で学習する。
論文 参考訳（メタデータ） (2020-05-19T04:18:04Z) - Cross-Lingual Low-Resource Set-to-Description Retrieval for Global
E-Commerce [83.72476966339103]
言語間情報検索は、国境を越えたeコマースにおける新しい課題である。
文脈依存型言語間マッピングの強化を図った新しい言語間マッチングネットワーク(CLMN)を提案する。
実験結果から,提案したCLMNは課題に対して印象的な結果をもたらすことが示唆された。
論文 参考訳（メタデータ） (2020-05-17T08:10:51Z) - BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。
提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。
我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文 参考訳（メタデータ） (2020-04-29T04:01:52Z) - Cross-lingual Information Retrieval with BERT [8.052497255948046]
本稿では、人気のある双方向言語モデルBERTを用いて、英語クエリと外国語文書の関係をモデル化し、学習する。
BERTに基づく深部関係マッチングモデルを導入し,教師の弱い事前学習多言語BERTモデルを微調整して訓練する。
短い英語クエリに対するリトアニア語文書の検索実験の結果、我々のモデルは有効であり、競争ベースラインのアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-04-24T23:32:13Z) - Incorporating BERT into Neural Machine Translation [251.54280200353674]
本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。
我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
論文 参考訳（メタデータ） (2020-02-17T08:13:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。