Fugu-MT 論文翻訳(概要): An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020

論文の概要: An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020

arxiv url: http://arxiv.org/abs/2012.10275v2
Date: Thu, 28 Jan 2021 09:39:14 GMT
ステータス: 処理完了
システム内更新日: 2021-05-01 18:17:20.370266
Title: An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020
Title（参考訳）: VLSP 2020におけるベトナム関係抽出作業における事前学習BERTモデルの適用に関する実証的研究
Authors: Pham Quang Nhat Minh
Abstract要約: R-BERT モデルと BERT モデルという,最先端の BERT モデルを適用する。各モデルについて、FPTAI/vibertとNlpHUST/vibert4newsの2つの事前学習BERTモデルを比較した。 NlpHUST/vibert4news モデルはベトナム関係抽出作業において FPTAI/vibert よりも優れていた。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this paper, we present an empirical study of using pre-trained BERT models for the relation extraction task at the VLSP 2020 Evaluation Campaign. We applied two state-of-the-art BERT-based models: R-BERT and BERT model with entity starts. For each model, we compared two pre-trained BERT models: FPTAI/vibert and NlpHUST/vibert4news. We found that NlpHUST/vibert4news model significantly outperforms FPTAI/vibert for the Vietnamese relation extraction task. Finally, we proposed an ensemble model that combines R-BERT and BERT with entity starts. Our proposed ensemble model slightly improved against two single models on the development data and the test data provided by the task organizers.
Abstract（参考訳）: 本稿では,VLSP 2020 評価キャンペーンにおいて,事前学習した BERT モデルを用いて関係抽出を行う実験的検討を行った。 R-BERTモデルとBERTモデルという,最先端のBERTモデルを適用した。各モデルについて、FPTAI/vibertとNlpHUST/vibert4newsの2モデルを比較した。 NlpHUST/vibert4news モデルはベトナム関係抽出作業において FPTAI/vibert よりも優れていた。最後に,R-BERTとBERTを組み合わせたアンサンブルモデルを提案する。提案するアンサンブルモデルは,開発データ上の2つの単一モデルとタスクオーガナイザが提供するテストデータに対してわずかに改善した。

関連論文リスト

Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文参考訳（メタデータ） (2022-04-28T08:49:40Z)
MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
論文参考訳（メタデータ） (2021-08-23T14:28:23Z)
The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文参考訳（メタデータ） (2021-07-24T09:53:34Z)
The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
論文参考訳（メタデータ） (2021-06-30T15:56:44Z)
Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
論文参考訳（メタデータ） (2021-06-20T02:15:20Z)
Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews [0.0]
2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。提案するBERTファインチューニング法は,従来のBERTファインチューニング法よりも優れた性能を持つアモデルを生成する。
論文参考訳（メタデータ） (2020-11-20T14:45:46Z)
A Comparison of LSTM and BERT for Small Corpus [0.0]
NLP分野の最近の進歩は、スクラッチから始めるのではなく、事前学習されたモデルを調整することによって、新しいタスクの最先端結果を達成するのに、トランスファーラーニングが役立つことを示している。本稿では、学術と産業の科学者が頻繁に直面する現実的なシナリオに焦点を当てる。小さなデータセットがあれば、BERTのような大規模な事前学習モデルを使用して、単純なモデルよりも優れた結果を得ることができるか? 実験の結果,2方向LSTMモデルは小データセットのBERTモデルよりもはるかに高い結果が得られることが示され,これらの単純なモデルは事前学習したモデルよりもはるかに少ない時間で訓練されることがわかった。
論文参考訳（メタデータ） (2020-09-11T14:01:14Z)
syrapropa at SemEval-2020 Task 11: BERT-based Models Design For Propagandistic Technique and Span Detection [2.0051855303186046]
まず,SpanBERTに基づくSpan Identification(SI)モデルを構築し,より深いモデルと文レベルの表現による検出を容易にする。次に、テクニック分類(TC)のためのハイブリッドモデルを開発する。ハイブリッドモデルは、2つのBERTモデルと異なるトレーニング方法、特徴ベースのロジスティック回帰モデルを含む3つのサブモデルで構成されている。
論文参考訳（メタデータ） (2020-08-24T02:15:29Z)
PEL-BERT: A Joint Model for Protocol Entity Linking [6.5191667029024805]
本稿では,細調整言語モデルとRFCドメインモデルとを結合するモデルを提案する。第1に,プロトコル EL のガイドラインとしてプロトコル知識ベースを設計する。第2に,プロトコル内の名前付きエンティティをプロトコル知識ベース内のカテゴリにリンクする新しいモデル PEL-BERT を提案する。実験結果から,アノテートされたデータセット上でのELの最先端性能が得られた。
論文参考訳（メタデータ） (2020-01-28T16:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。