論文の概要: Unbabel's Participation in the WMT20 Metrics Shared Task
- arxiv url: http://arxiv.org/abs/2010.15535v1
- Date: Thu, 29 Oct 2020 12:59:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-10-01 22:52:50.524131
- Title: Unbabel's Participation in the WMT20 Metrics Shared Task
- Title（参考訳）: WMT20メトリクス共有タスクにおけるUnbabelの参加
- Authors: Ricardo Rei, Craig Stewart, Catarina Farinha, Alon Lavie
- Abstract要約: We present the contribution of the Unbabel team to the WMT 2020 Shared Task on Metrics。
すべての言語ペアでセグメントレベル、文書レベル、システムレベルのトラックに参加するつもりです。
前年度のテストセットを参考に、これらのトラックでモデルの結果を説明します。
- 参考スコア（独自算出の注目度）: 8.621669980568822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the contribution of the Unbabel team to the WMT 2020 Shared Task
on Metrics. We intend to participate on the segment-level, document-level and
system-level tracks on all language pairs, as well as the 'QE as a Metric'
track. Accordingly, we illustrate results of our models in these tracks with
reference to test sets from the previous year. Our submissions build upon the
recently proposed COMET framework: We train several estimator models to regress
on different human-generated quality scores and a novel ranking model trained
on relative ranks obtained from Direct Assessments. We also propose a simple
technique for converting segment-level predictions into a document-level score.
Overall, our systems achieve strong results for all language pairs on previous
test sets and in many cases set a new state-of-the-art.
- Abstract（参考訳）: 我々は、メトリクスに関するwmt 2020共有タスクに対するunbabelチームの貢献について紹介する。
我々は、すべての言語ペアのセグメントレベル、ドキュメントレベル、システムレベルトラック、および'QE as a Metric'トラックに参加するつもりです。
そこで本研究では,前年度のテストセットを参考に,これらのトラックにおけるモデル結果について述べる。
我々は、複数の推定モデルを訓練して、異なる人間の生成した品質スコアと、直接評価から得られた相対的なランクで訓練された新しいランキングモデルを構築します。
また,セグメントレベルの予測を文書レベルのスコアに変換するための簡易な手法を提案する。
全体として、我々のシステムは以前のテストセットで全ての言語ペアに対して強い結果を得られる。
関連論文リスト
- The Eval4NLP 2023 Shared Task on Prompting Large Language Models as
Explainable Metrics [36.52897053496835]
生成型大規模言語モデル (LLM) は、タスクに関連する最小あるいは全くの例でタスクを解く顕著な能力を示している。
Eval4NLP 2023共有タスクを導入し、参加者に対して機械翻訳(MT)と要約評価のためのプロンプトとスコア抽出について検討する。
本稿では,参加者のアプローチの概要を述べるとともに,MTと要約データセットの3つの言語対にまたがる新しい参照なしテストセットについて評価する。
論文 参考訳（メタデータ） (2023-10-30T17:55:08Z) - BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。
異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。
評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文 参考訳（メタデータ） (2023-10-24T12:18:17Z) - Unify word-level and span-level tasks: NJUNLP's Participation for the
WMT2023 Quality Estimation Shared Task [59.46906545506715]
我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。
私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。
我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
論文 参考訳（メタデータ） (2023-09-23T01:52:14Z) - Alibaba-Translate China's Submission for WMT 2022 Quality Estimation
Shared Task [80.22825549235556]
我々は、UniTEという品質評価共有タスクにおいて、文レベルのMQMベンチマークを提出する。
具体的には、トレーニング中に3種類の入力形式と事前学習された言語モデルを組み合わせたUniTEのフレームワークを用いる。
その結果,我々のモデルは多言語・英語・ロシア語設定では第1位,英語・ドイツ語・中国語設定では第2位に達した。
論文 参考訳（メタデータ） (2022-10-18T08:55:27Z) - Alibaba-Translate China's Submission for WMT 2022 Metrics Shared Task [61.34108034582074]
私たちはUNITE(Unified Translation Evaluation)のコアアイデアに基づいてシステムを構築します。
モデル事前学習の段階では、まず擬似ラベル付きデータ例をUNITEの継続事前訓練に適用する。
微調整の段階では、過去のWMTコンペティションの直接評価(DA)と多次元品質メトリクス(MQM)のデータの両方を使用します。
論文 参考訳（メタデータ） (2022-10-18T08:51:25Z) - RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。
我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文 参考訳（メタデータ） (2022-04-28T08:49:40Z) - TransQuest at WMT2020: Sentence-Level Direct Assessment [14.403165053223395]
言語間変換に基づく簡単なQEフレームワークを提案する。
2つの異なるニューラルアーキテクチャの実装と評価に使用しています。
当社のアプローチは,WMT 2020の公式調査結果によると,すべての言語ペアにおいて,勝利のソリューションです。
論文 参考訳（メタデータ） (2020-10-11T18:53:05Z) - Learning to Evaluate Translation Beyond English: BLEURT Submissions to
the WMT Metrics 2020 Shared Task [30.889496911261677]
本稿では,WMT 2020 Metrics Shared Taskへのコントリビューションについて述べる。
我々は、移動学習に基づくメトリクスBLEURTに基づいていくつかの提案を行う。
BLEURTの予測とYiSiの予測を組み合わせ、代替参照変換を用いて性能を向上させる方法を示す。
論文 参考訳（メタデータ） (2020-10-08T23:16:26Z) - Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。
本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T03:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。