論文の概要: Rethinking Round-Trip Translation for Machine Translation Evaluation

• arxiv url: http://arxiv.org/abs/2209.07351v3
• Date: Mon, 15 May 2023 11:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 00:53:36.845004
• Title: Rethinking Round-Trip Translation for Machine Translation Evaluation
• Title（参考訳）: 機械翻訳評価のためのラウンドトリップ翻訳の再考
• Authors: Terry Yue Zhuo, Qiongkai Xu, Xuanli He, Trevor Cohn
• Abstract要約: ラウンドトリップ翻訳が参照なしで自動評価に利用できるという驚くべき発見を報告する。 ラウンドトリップ翻訳が複数の機械翻訳評価タスクに有用であることを示す。
• 参考スコア（独自算出の注目度）: 44.83568796515321
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Automatic evaluation on low-resource language translation suffers from a deficiency of parallel corpora. Round-trip translation could be served as a clever and straightforward technique to alleviate the requirement of the parallel evaluation corpus. However, there was an observation of obscure correlations between the evaluation scores by forward and round-trip translations in the era of statistical machine translation (SMT). In this paper, we report the surprising finding that round-trip translation can be used for automatic evaluation without the references. Firstly, our revisit on the round-trip translation in SMT evaluation unveils that its long-standing misunderstanding is essentially caused by copying mechanism. After removing copying mechanism in SMT, round-trip translation scores can appropriately reflect the forward translation performance. Then, we demonstrate the rectification is overdue as round-trip translation could benefit multiple machine translation evaluation tasks. To be more specific, round-trip translation could be used i) to predict corresponding forward translation scores; ii) to improve the performance of the recently advanced quality estimation model; and iii) to identify adversarial competitors in shared tasks via cross-system verification.
• Abstract（参考訳）: 低リソース言語翻訳の自動評価は並列コーパスの欠如に悩まされる。 ラウンドトリップ翻訳は、並列評価コーパスの要求を緩和する巧妙で簡単な手法として機能する。 しかし, 統計的機械翻訳(SMT)の時代において, 前向き翻訳とラウンドトリップ翻訳による評価スコアの曖昧な相関が観察された。 本稿では,ラウンドトリップ翻訳が参照なしで自動評価に利用できるという驚くべき発見を報告する。 まず、SMT評価におけるラウンドトリップ翻訳の再検討により、長年の誤解は基本的にコピー機構によるものであることが明らかとなった。 SMTのコピー機構を除去した後、ラウンドトリップ翻訳スコアは前方翻訳性能を適切に反映することができる。 そして,複数の機械翻訳評価タスクにおいて,ラウンドトリップ翻訳が有益であることを示す。 もっと具体的に言うと、往復翻訳が使える 一 対応する前方翻訳スコアを予測すること 二 最新の品質推定モデルの性能を向上させること、及び 三 クロスシステム検証により、共通業務における敵の識別

関連論文リスト

• Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective [72.83966378613238]
  最新のニューラル・マシン・トランスレーション(NMT)システムでは、アンダー・トランスレーションとオーバー・トランスレーションの2つの課題が残っている。 我々は,NMTにおけるアンダートランスレーションの根本原因を詳細に分析し,デコード目的の観点から解説する。 本研究は,低翻訳の検知器としてEOS(End Of Sentence)予測の信頼性を活用し,低翻訳のリスクが高い候補を罰する信頼性に基づくペナルティを強化することを提案する。
  論文  参考訳（メタデータ） (2024-05-29T09:25:49Z)
• BiVert: Bidirectional Vocabulary Evaluation using Relations for Machine Translation [4.651581292181871]
  本稿では,テキストから翻訳の感覚距離を評価するための双方向意味に基づく評価手法を提案する。 このアプローチでは、包括的な多言語百科事典BabelNetを用いる。 Factual analysis is a strong correlation between the average evaluations generated by our method and the human evaluations across various machine translation system for English- German language pair。
  論文  参考訳（メタデータ） (2024-03-06T08:02:21Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Principled Paraphrase Generation with Parallel Corpora [52.78059089341062]
  ラウンドトリップ機械翻訳によって引き起こされる暗黙の類似性関数を形式化する。 一つのあいまいな翻訳を共有する非パラフレーズ対に感受性があることが示される。 この問題を緩和する別の類似度指標を設計する。
  論文  参考訳（メタデータ） (2022-05-24T17:22:42Z)
• A Bayesian approach to translators' reliability assessment [0.0]
  我々は、複雑なシステムの観点から、翻訳品質評価プロセスを複雑なプロセスとみなす。 TQAプロセスに関わる特徴,すなわち翻訳難易度,翻訳生成と品質評価に関わる翻訳者の特性をパラメータ化する2つのベイズモデルを構築した。 専門家翻訳者であっても、レビュアーの信頼性は当然と言えないことを示す。
  論文  参考訳（メタデータ） (2022-03-14T14:29:45Z)
• It is Not as Good as You Think! Evaluating Simultaneous Machine Translation on Interpretation Data [58.105938143865906]
  我々は、実解釈データに基づいて、SiMTシステムをトレーニングし、テストすべきであると主張している。 以上の結果から,SiMTモデルが翻訳データと解釈データで評価された場合,最大13.83BLEUスコアの違いが明らかになった。
  論文  参考訳（メタデータ） (2021-10-11T12:27:07Z)
• The Impact of Indirect Machine Translation on Sentiment Classification [6.719549885077474]
  本稿では,顧客からのフィードバックを他の言語に翻訳する機械翻訳システムを提案する。 直接翻訳が必ずしも可能であるとは限らないため、翻訳された文に対する自動分類器の性能について検討する。 提案する感情分類システムの性能を解析し、翻訳文の分類の利点と欠点について考察する。
  論文  参考訳（メタデータ） (2020-08-25T20:30:21Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。