論文の概要: QEMind: Alibaba's Submission to the WMT21 Quality Estimation Shared Task

• arxiv url: http://arxiv.org/abs/2112.14890v1
• Date: Thu, 30 Dec 2021 02:27:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 05:11:20.905748
• Title: QEMind: Alibaba's Submission to the WMT21 Quality Estimation Shared Task
• Title（参考訳）: QEMind:AlibabaがWMT21品質評価共有タスクを提出
• Authors: Jiayi Wang, Ke Wang, Boxing Chen, Yu Zhao, Weihua Luo, and Yuqi Zhang
• Abstract要約: 我々は、WMT 2021 QE共有タスクに提出する。 テキストQEMindというQEシステムを構築するための翻訳の不確実性を評価するために有用な機能をいくつか提案する。 我々は、WMT 2020のダイレクトアセスメントQEタスクにおいて、我々の多言語システムが最高のシステムより優れていることを示す。
• 参考スコア（独自算出の注目度）: 24.668012925628968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quality Estimation, as a crucial step of quality control for machine translation, has been explored for years. The goal is to investigate automatic methods for estimating the quality of machine translation results without reference translations. In this year's WMT QE shared task, we utilize the large-scale XLM-Roberta pre-trained model and additionally propose several useful features to evaluate the uncertainty of the translations to build our QE system, named \textit{QEMind}. The system has been applied to the sentence-level scoring task of Direct Assessment and the binary score prediction task of Critical Error Detection. In this paper, we present our submissions to the WMT 2021 QE shared task and an extensive set of experimental results have shown us that our multilingual systems outperform the best system in the Direct Assessment QE task of WMT 2020.
• Abstract（参考訳）: 機械翻訳における品質管理の重要なステップである品質推定は、長年にわたって研究されてきた。 本研究の目的は,機械翻訳結果の品質を基準翻訳なしで推定する自動手法を検討することである。 今年のWMT QE共有タスクでは、大規模なXLM-Roberta事前学習モデルを使用し、翻訳の不確実性を評価してQEシステムを構築する上で有用ないくつかの特徴である「textit{QEMind}」を提案する。 本システムは、直接評価の文レベルのスコア付けタスクと、臨界エラー検出のバイナリスコア予測タスクに適用されている。 本稿では,WMT 2021 QE共有タスクに対する提案を提示するとともに,多言語システムがWMT 2020のダイレクトアセスメントQEタスクにおいて,最高のシステムより優れていることを示す。

関連論文リスト

• Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
  我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。 私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。 我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
  論文  参考訳（メタデータ） (2023-09-23T01:52:14Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• Alibaba-Translate China's Submission for WMT 2022 Quality Estimation Shared Task [80.22825549235556]
  我々は、UniTEという品質評価共有タスクにおいて、文レベルのMQMベンチマークを提出する。 具体的には、トレーニング中に3種類の入力形式と事前学習された言語モデルを組み合わせたUniTEのフレームワークを用いる。 その結果,我々のモデルは多言語・英語・ロシア語設定では第1位,英語・ドイツ語・中国語設定では第2位に達した。
  論文  参考訳（メタデータ） (2022-10-18T08:55:27Z)
• Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
  本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。 我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
  論文  参考訳（メタデータ） (2021-11-15T12:09:08Z)
• The JHU-Microsoft Submission for WMT21 Quality Estimation Shared Task [14.629380601429956]
  本稿では,WMT 2021の品質評価共有タスクに対するJHU-Microsoft共同提案を提案する。 我々は,目標側の単語レベルの品質評価に焦点をあて,共有タスクのタスク2(後編集作業推定)にのみ参加する。 我々は,広く採用されているOpenKiwi-XLMベースラインと比較して,システムの競争力を示す。
  論文  参考訳（メタデータ） (2021-09-17T19:13:31Z)
• Ensemble Fine-tuned mBERT for Translation Quality Estimation [0.0]
  本稿では,WMT 2021 QE共有タスクの提出について論じる。 提案システムは多言語BERT(mBERT)に基づく回帰モデルのアンサンブルである。 ピアソンの相関に匹敵する性能を示し、いくつかの言語対に対してMAE/RMSEのベースラインシステムを破る。
  論文  参考訳（メタデータ） (2021-09-08T20:13:06Z)
• Ensemble-based Transfer Learning for Low-resource Machine Translation Quality Estimation [1.7188280334580195]
  第5回機械翻訳会議(WMT20)の文レベルQE共有タスクに焦点を当てます。 このようなQEデータ不足の課題を克服するために、トランスファーラーニングを備えたアンサンブルベースの予測器推定QEモデルを提案する。 個々の言語で事前学習されたモデルと異なるレベルの並列学習コーパスと、ピアソンの相関値0.298とを組み合わせたアンサンブルモデルにおいて、最も優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-05-17T06:02:17Z)
• Unsupervised Quality Estimation for Neural Machine Translation [63.38918378182266]
  既存のアプローチでは、大量の専門家アノテートデータ、計算、トレーニング時間が必要です。 MTシステム自体以外に、トレーニングや追加リソースへのアクセスが不要なQEに対して、教師なしのアプローチを考案する。 我々は品質の人間の判断と非常によく相関し、最先端の教師付きQEモデルと競合する。
  論文  参考訳（メタデータ） (2020-05-21T12:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。