Fugu-MT 論文翻訳(概要): Ensemble Fine-tuned mBERT for Translation Quality Estimation

論文の概要: Ensemble Fine-tuned mBERT for Translation Quality Estimation

arxiv url: http://arxiv.org/abs/2109.03914v1
Date: Wed, 8 Sep 2021 20:13:06 GMT
ステータス: 処理完了
システム内更新日: 2021-09-11 09:31:08.452322
Title: Ensemble Fine-tuned mBERT for Translation Quality Estimation
Title（参考訳）: 翻訳品質推定のための微細調整mBERT
Authors: Shaika Chowdhury, Naouel Baili and Brian Vannah
Abstract要約: 本稿では,WMT 2021 QE共有タスクの提出について論じる。提案システムは多言語BERT(mBERT)に基づく回帰モデルのアンサンブルである。ピアソンの相関に匹敵する性能を示し、いくつかの言語対に対してMAE/RMSEのベースラインシステムを破る。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Quality Estimation (QE) is an important component of the machine translation workflow as it assesses the quality of the translated output without consulting reference translations. In this paper, we discuss our submission to the WMT 2021 QE Shared Task. We participate in Task 2 sentence-level sub-task that challenge participants to predict the HTER score for sentence-level post-editing effort. Our proposed system is an ensemble of multilingual BERT (mBERT)-based regression models, which are generated by fine-tuning on different input settings. It demonstrates comparable performance with respect to the Pearson's correlation and beats the baseline system in MAE/ RMSE for several language pairs. In addition, we adapt our system for the zero-shot setting by exploiting target language-relevant language pairs and pseudo-reference translations.
Abstract（参考訳）: 品質推定(qe)は機械翻訳ワークフローの重要な構成要素であり、参照翻訳に相談することなく翻訳出力の品質を評価する。本稿では,WMT 2021 QE共有タスクの提出について論じる。我々は第2節の文レベルのサブタスクに参加し、文レベルの後編集作業のHTERスコアを予測する。提案システムは,入力設定の微調整によって生成される多言語BERT(mBERT)に基づく回帰モデルのアンサンブルである。ピアソンの相関に匹敵する性能を示し、いくつかの言語対に対してMAE/RMSEのベースラインシステムを破る。さらに,対象言語対応言語対と擬似参照翻訳を活用し,ゼロショット設定に適応する。

関連論文リスト

Don't Rank, Combine! Combining Machine Translation Hypotheses Using Quality Estimation [0.6998085564793366]
本研究は品質推定量(QE)を用いて翻訳を合成するQE融合を導入する。提案手法は, 半数以上の症例において, 新規な翻訳を生成できることを実証する。我々は、QE融合がプール内の候補数と線形にスケールすることを実証的に確立する。
論文参考訳（メタデータ） (2024-01-12T16:52:41Z)
Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
論文参考訳（メタデータ） (2023-09-23T01:52:14Z)
Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文参考訳（メタデータ） (2022-12-20T14:39:58Z)
Alibaba-Translate China's Submission for WMT 2022 Quality Estimation Shared Task [80.22825549235556]
我々は、UniTEという品質評価共有タスクにおいて、文レベルのMQMベンチマークを提出する。具体的には、トレーニング中に3種類の入力形式と事前学習された言語モデルを組み合わせたUniTEのフレームワークを用いる。その結果,我々のモデルは多言語・英語・ロシア語設定では第1位,英語・ドイツ語・中国語設定では第2位に達した。
論文参考訳（メタデータ） (2022-10-18T08:55:27Z)
QEMind: Alibaba's Submission to the WMT21 Quality Estimation Shared Task [24.668012925628968]
我々は、WMT 2021 QE共有タスクに提出する。テキストQEMindというQEシステムを構築するための翻訳の不確実性を評価するために有用な機能をいくつか提案する。我々は、WMT 2020のダイレクトアセスメントQEタスクにおいて、我々の多言語システムが最高のシステムより優れていることを示す。
論文参考訳（メタデータ） (2021-12-30T02:27:29Z)
On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文参考訳（メタデータ） (2021-12-21T08:10:27Z)
Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
論文参考訳（メタデータ） (2021-11-15T12:09:08Z)
Verdi: Quality Estimation and Error Detection for Bilingual [23.485380293716272]
Verdiはバイリンガルコーパスのための単語レベルおよび文レベルの後編集作業推定のための新しいフレームワークである。バイリンガルコーパスの対称性を活用し,NMT予測器にモデルレベル二重学習を適用した。我々の手法は競争の勝者を圧倒し、他の基準法よりも大きなマージンで上回る。
論文参考訳（メタデータ） (2021-05-31T11:04:13Z)
Ensemble-based Transfer Learning for Low-resource Machine Translation Quality Estimation [1.7188280334580195]
第5回機械翻訳会議(WMT20)の文レベルQE共有タスクに焦点を当てます。このようなQEデータ不足の課題を克服するために、トランスファーラーニングを備えたアンサンブルベースの予測器推定QEモデルを提案する。個々の言語で事前学習されたモデルと異なるレベルの並列学習コーパスと、ピアソンの相関値0.298とを組み合わせたアンサンブルモデルにおいて、最も優れた性能を実現する。
論文参考訳（メタデータ） (2021-05-17T06:02:17Z)
Learning to Evaluate Translation Beyond English: BLEURT Submissions to the WMT Metrics 2020 Shared Task [30.889496911261677]
本稿では,WMT 2020 Metrics Shared Taskへのコントリビューションについて述べる。我々は、移動学習に基づくメトリクスBLEURTに基づいていくつかの提案を行う。 BLEURTの予測とYiSiの予測を組み合わせ、代替参照変換を用いて性能を向上させる方法を示す。
論文参考訳（メタデータ） (2020-10-08T23:16:26Z)
On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。