論文の概要: Mismatching-Aware Unsupervised Translation Quality Estimation For Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2208.00463v1
• Date: Sun, 31 Jul 2022 16:23:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:37:43.814140
• Title: Mismatching-Aware Unsupervised Translation Quality Estimation For Low-Resource Languages
• Title（参考訳）: 低リソース言語における教師なし翻訳品質推定
• Authors: Fatemeh Azadi, Heshaam Faili, Mohammad Javad Dousti
• Abstract要約: まず,XLM-RoBERTa(XLMR)モデルを用いて計算したBERTScoreに基づく,単純な教師なしQE手法であるXLMRScoreを提案する。 提案手法は,WMT21QE共有タスクの4つの低リソース言語対と,本論文で紹介した新たな英語-Farsiテストデータセットについて評価する。
• 参考スコア（独自算出の注目度）: 2.7264909680727833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Translation Quality Estimation (QE) is the task of predicting the quality of machine translation (MT) output without any reference. This task has gained increasing attention as an important component in practical applications of MT. In this paper, we first propose XLMRScore, a simple unsupervised QE method based on the BERTScore computed using the XLM-RoBERTa (XLMR) model while discussing the issues that occur using this method. Next, we suggest two approaches to mitigate the issues: replacing untranslated words with the unknown token and the cross-lingual alignment of pre-trained model to represent aligned words closer to each other. We evaluate the proposed method on four low-resource language pairs of WMT21 QE shared task, as well as a new English-Farsi test dataset introduced in this paper. Experiments show that our method could get comparable results with the supervised baseline for two zero-shot scenarios, i.e., with less than 0.01 difference in Pearson correlation, while outperforming the unsupervised rivals in all the low-resource language pairs for above 8% in average.
• Abstract（参考訳）: 翻訳品質推定(QE)は、機械翻訳(MT)出力の品質を基準なしに予測するタスクである。 本稿ではまず,XLM-RoBERTa(XLMR)モデルを用いて計算したBERTScoreに基づく簡易な教師なしQE手法であるXLMRScoreを提案する。 次に,未翻訳の単語を未知のトークンに置き換える方法と,アライメントされた単語を互いに親しみ合うように事前学習したモデルの言語間アライメントを提案する。 提案手法は,WMT21QE共有タスクの4つの低リソース言語対と,本論文で紹介した新たな英語-Farsiテストデータセットについて評価する。 実験の結果,Pearsonの相関は0.01以下であり,低リソースの言語ペアでは平均8%以上で,教師なしの競合よりも優れていた。

関連論文リスト

• QUEST: Quality-Aware Metropolis-Hastings Sampling for Machine Translation [25.165239478219267]
  本稿では,ギブス分布のエネルギー関数として,ノイズ品質推定の過度な信頼を回避するための簡易かつ効果的な手法を提案する。 分布のモードを探す代わりに、メトロポリス・ハスティングスアルゴリズムを用いて高密度領域から複数のサンプルを生成する。
  論文  参考訳（メタデータ） (2024-05-28T17:36:06Z)
• Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
  我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。 私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。 我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
  論文  参考訳（メタデータ） (2023-09-23T01:52:14Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Alibaba-Translate China's Submission for WMT 2022 Quality Estimation Shared Task [80.22825549235556]
  我々は、UniTEという品質評価共有タスクにおいて、文レベルのMQMベンチマークを提出する。 具体的には、トレーニング中に3種類の入力形式と事前学習された言語モデルを組み合わせたUniTEのフレームワークを用いる。 その結果,我々のモデルは多言語・英語・ロシア語設定では第1位,英語・ドイツ語・中国語設定では第2位に達した。
  論文  参考訳（メタデータ） (2022-10-18T08:55:27Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• A new approach to calculating BERTScore for automatic assessment of translation quality [0.0]
  本研究は,BERTScore測定値の文レベルにおける翻訳品質評価への適用性に焦点をあてる。 実験は、事前訓練された多言語BERTと、一対のモノリンガルBERTモデルを用いて行われた。 このような変換がミスマッチの防止に有効であることを実証し,マルチ言語モデルの埋め込みを用いた場合よりも,このアプローチの方が優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-03-10T19:25:16Z)
• Ensemble Fine-tuned mBERT for Translation Quality Estimation [0.0]
  本稿では,WMT 2021 QE共有タスクの提出について論じる。 提案システムは多言語BERT(mBERT)に基づく回帰モデルのアンサンブルである。 ピアソンの相関に匹敵する性能を示し、いくつかの言語対に対してMAE/RMSEのベースラインシステムを破る。
  論文  参考訳（メタデータ） (2021-09-08T20:13:06Z)
• Verdi: Quality Estimation and Error Detection for Bilingual [23.485380293716272]
  Verdiはバイリンガルコーパスのための単語レベルおよび文レベルの後編集作業推定のための新しいフレームワークである。 バイリンガルコーパスの対称性を活用し,NMT予測器にモデルレベル二重学習を適用した。 我々の手法は競争の勝者を圧倒し、他の基準法よりも大きなマージンで上回る。
  論文  参考訳（メタデータ） (2021-05-31T11:04:13Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。