Fugu-MT 論文翻訳(概要): VTCC-NLP at NL4Opt competition subtask 1: An Ensemble Pre-trained language models for Named Entity Recognition

論文の概要: VTCC-NLP at NL4Opt competition subtask 1: An Ensemble Pre-trained language models for Named Entity Recognition

arxiv url: http://arxiv.org/abs/2212.07219v1
Date: Wed, 14 Dec 2022 13:41:36 GMT
ステータス: 処理完了
システム内更新日: 2022-12-15 14:53:33.355225
Title: VTCC-NLP at NL4Opt competition subtask 1: An Ensemble Pre-trained language models for Named Entity Recognition
Title（参考訳）: VTCC-NLP at NL4Opt competition subtask 1: An Ensemble Pre-trained Language Model for Named Entity Recognition
Authors: Xuan-Dung Doan
Abstract要約: 本稿では,3種類の事前学習型言語モデル (XLM-R, BART, DeBERTa-V3) を提案する。我々のモデルは、テストセットで92.9%のF1スコアを獲得し、NL4Optコンペティションサブタスク1でリーダーボードで5位にランクインした。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a combined three pre-trained language models (XLM-R, BART, and DeBERTa-V3) as an empower of contextualized embedding for named entity recognition. Our model achieves a 92.9% F1 score on the test set and ranks 5th on the leaderboard at NL4Opt competition subtask 1.
Abstract（参考訳）: 本稿では,3種類の事前学習型言語モデル (XLM-R, BART, DeBERTa-V3) を提案する。我々のモデルはテストセットで92.9%のF1スコアを獲得し、NL4Optコンペティションサブタスク1で5位となった。

関連論文リスト

A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
自然言語推論は自然言語理解のプロキシである。ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
論文参考訳（メタデータ） (2024-05-20T08:41:15Z)
Software Mention Recognition with a Three-Stage Framework Based on BERTology Models at SOMD 2024 [0.0]
本稿では,Scholarly Publications shared-taskにおけるSoftware Mention DetectionにおけるサブタスクIのシステムについて述べる。ベストパフォーマンスシステムは3段階のフレームワークを通じて名前付きエンティティ認識問題に対処する。 XLM-Rベースのモデルに基づくフレームワークは、重み付けされたF1スコア67.80%を実現し、ソフトウェアメンション認識タスクのサブタスクIの3位にチームに提供する。
論文参考訳（メタデータ） (2024-04-23T17:06:24Z)
Multilingual E5 Text Embeddings: A Technical Report [63.503320030117145]
異なるサイズの3つの埋め込みモデルを提供し、推論効率と埋め込み品質のバランスを提供する。そこで我々は,新しい命令調整型埋め込みモデルを導入し,その性能は類似サイズの最先端の英語のみのモデルと同等である。
論文参考訳（メタデータ） (2024-02-08T13:47:50Z)
Skywork: A More Open Bilingual Foundation Model [55.927396986873816]
英語と中国語の両方のテキストから引き出された3.2兆以上のトークンのコーパスをトレーニングした,大規模言語モデル(LLM)のファミリーであるSkywork-13Bを紹介する。我々のモデルは,一般的なベンチマークに優れるだけでなく,さまざまなドメインにおける中国語のモデリングにおける芸術的パフォーマンスの即興性も達成できることを示す。
論文参考訳（メタデータ） (2023-10-30T08:31:47Z)
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文参考訳（メタデータ） (2023-02-18T09:26:35Z)
OPD@NL4Opt: An ensemble approach for the NER task of the optimization problem [1.3320917259299654]
NL4Optコンペティションサブタスク1(NERタスク)に対するアンサンブルアプローチを提案する。このタスクでは、まず、競合データセットに基づいて事前訓練された言語モデルを微調整する。我々はモデル一般化を強化するために、差分学習率と敵の訓練戦略を採用する。
論文参考訳（メタデータ） (2023-01-06T11:07:55Z)
Alibaba-Translate China's Submission for WMT 2022 Quality Estimation Shared Task [80.22825549235556]
我々は、UniTEという品質評価共有タスクにおいて、文レベルのMQMベンチマークを提出する。具体的には、トレーニング中に3種類の入力形式と事前学習された言語モデルを組み合わせたUniTEのフレームワークを用いる。その結果,我々のモデルは多言語・英語・ロシア語設定では第1位,英語・ドイツ語・中国語設定では第2位に達した。
論文参考訳（メタデータ） (2022-10-18T08:55:27Z)
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。 ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文参考訳（メタデータ） (2021-11-18T06:48:00Z)
Neural Text Classification and Stacked Heterogeneous Embeddings for Named Entity Recognition in SMM4H 2021 [1.195496689595016]
名前付きエンティティ認識(NER)とテキスト分類について検討した。 NERに対処するため,重み付き異種埋め込みと言語的特徴を用いたBiLSTM-CRFの探索を行った。提案手法は様々な言語に一般化することができ、英語とスペイン語で有効性を示した。
論文参考訳（メタデータ） (2021-06-10T15:43:21Z)
BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense [1.433758865948252]
本稿では,SemEval 2020 Task 4 - Commonsense Validation and ExplanationにおけるBUT-FITチームの作業について述べる。サブタスクAとBでは、事前訓練された言語表現モデル(ALBERT)とデータ拡張に基づいている。我々は、多言語モデルと機械翻訳データセットを用いて、別の言語であるチェコ語のタスクを解く実験を行った。強い機械翻訳システムでは, 精度の低下を少なく抑えながら, 他言語で使用することができることを示す。
論文参考訳（メタデータ） (2020-08-17T12:45:39Z)
aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF, and Transfer Learning [22.90521056447551]
本稿では,新聞記事中のプロパガンダ技術の検出に関するSemEval-2020 Task 11について述べる。我々は,RoBERTaベースのニューラルネットワーク,追加のCRFレイヤ,2つのサブタスク間の伝達学習,タスクのマルチラベル特性を扱うための高度な後処理を用いたアンサンブルモデルを開発した。
論文参考訳（メタデータ） (2020-08-06T18:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。