Fugu-MT 論文翻訳(概要): A More Efficient Chinese Named Entity Recognition base on BERT and Syntactic Analysis

論文の概要: A More Efficient Chinese Named Entity Recognition base on BERT and Syntactic Analysis

arxiv url: http://arxiv.org/abs/2101.11423v1
Date: Mon, 11 Jan 2021 15:33:39 GMT
ステータス: 処理完了
システム内更新日: 2021-04-04 18:22:11.182298
Title: A More Efficient Chinese Named Entity Recognition base on BERT and Syntactic Analysis
Title（参考訳）: BERTに基づくより効率的な中国語名前付きエンティティ認識と構文解析
Authors: Xiao Fu and Guijun Zhang
Abstract要約: 本稿は,まずスタンフォードの自然言語処理(NLP)ツールを用いて,大規模タグ付きデータに注釈を付ける。次に,新しいNLPモデルであるg-BERTを用いて,変換器(BERT)モデルから双方向表現を圧縮し,計算量を削減する。実験の結果,g-BERTモデルの計算量が60%削減され,テストF1では2%向上し,BERTモデルと比較して96.5向上した。
参考スコア（独自算出の注目度）: 9.769870656657522
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a new Named entity recognition (NER) method to effectively make use of the results of Part-of-speech (POS) tagging, Chinese word segmentation (CWS) and parsing while avoiding NER error caused by POS tagging error. This paper first uses Stanford natural language process (NLP) tool to annotate large-scale untagged data so as to reduce the dependence on the tagged data; then a new NLP model, g-BERT model, is designed to compress Bidirectional Encoder Representations from Transformers (BERT) model in order to reduce calculation quantity; finally, the model is evaluated based on Chinese NER dataset. The experimental results show that the calculation quantity in g-BERT model is reduced by 60% and performance improves by 2% with Test F1 to 96.5 compared with that in BERT model.
Abstract（参考訳）: 本研究では, POSタグの誤りによるNERエラーを回避しつつ, POSタグ付け, 中国語単語分割, 構文解析の結果を効果的に活用するための新しい名前付きエンティティ認識(NER)手法を提案する。本稿では,まずstanford natural language process (nlp) ツールを用いて,タグ付きデータへの依存度を低減するために,大規模非タグ付きデータをアノテートする。次に,トランスフォーマ(bert)モデルから双方向エンコーダ表現を圧縮して計算量を削減するために,新しいnlpモデルであるg-bertモデルを提案する。実験結果から,g-bertモデルの計算量は60%削減され,テストf1では,bertモデルと比較して2%向上した。

関連論文リスト

Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文参考訳（メタデータ） (2023-05-28T13:19:12Z)
Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文参考訳（メタデータ） (2023-03-13T17:12:03Z)
CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
論文参考訳（メタデータ） (2022-10-13T13:32:36Z)
WCL-BBCD: A Contrastive Learning and Knowledge Graph Approach to Named Entity Recognition [15.446770390648874]
WCL-BBCD (Word Contrastive Learning with BERT-BiLSTM-CRF-DBpedia)を提案する。モデルはまずテキスト中の文ペアを訓練し、コサイン類似性により文ペア内の単語間の類似度を計算し、その類似性を通じて名前付きエンティティ認識タスクに使用されるBERTモデルを微調整する。最後に、単語短縮による認識を緩和するため、認識結果を知識グラフなどの事前知識と組み合わせて補正する。
論文参考訳（メタデータ） (2022-03-14T08:29:58Z)
Semantic Similarity Computing Model Based on Multi Model Fine-Grained Nonlinear Fusion [30.71123144365683]
本稿では, テキストの意味をグローバルな視点から把握するために, マルチモデル非線形融合に基づく新しいモデルを提案する。このモデルは、音声の一部に基づくジャカード係数、TF-IDF(Term Frequency-Inverse Document Frequency)およびWord2vec-CNNアルゴリズムを用いて、文の類似度を測定する。実験の結果,複数モデルの非線形融合に基づく文類似度計算手法のマッチングは84%,モデルのF1値は75%であった。
論文参考訳（メタデータ） (2022-02-05T03:12:37Z)
Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
論文参考訳（メタデータ） (2021-08-23T14:28:23Z)
BinaryBERT: Pushing the Limit of BERT Quantization [74.65543496761553]
本稿では、BERT量子化を重み二項化の限界まで押し上げるBinaryBERTを提案する。複雑で不規則な損失環境のため,バイナリBERTは3次学習よりも直接訓練が難しいことが判明した。実験結果から、BinaryBERT は完全精度 BERT ベースと比較して無視できる性能低下を示した。
論文参考訳（メタデータ） (2020-12-31T16:34:54Z)
Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews [0.0]
2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。提案するBERTファインチューニング法は,従来のBERTファインチューニング法よりも優れた性能を持つアモデルを生成する。
論文参考訳（メタデータ） (2020-11-20T14:45:46Z)
Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文参考訳（メタデータ） (2020-10-18T16:55:25Z)
Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文参考訳（メタデータ） (2020-03-29T14:00:17Z)
Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。