論文の概要: It is Not as Good as You Think! Evaluating Simultaneous Machine Translation on Interpretation Data

• arxiv url: http://arxiv.org/abs/2110.05213v1
• Date: Mon, 11 Oct 2021 12:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:23:03.320173
• Title: It is Not as Good as You Think! Evaluating Simultaneous Machine Translation on Interpretation Data
• Title（参考訳）: それは君が思うほど良くない! 解釈データを用いた同時機械翻訳の評価
• Authors: Jinming Zhao, Philip Arthur, Gholamreza Haffari, Trevor Cohn, Ehsan Shareghi
• Abstract要約: 我々は、実解釈データに基づいて、SiMTシステムをトレーニングし、テストすべきであると主張している。 以上の結果から,SiMTモデルが翻訳データと解釈データで評価された場合,最大13.83BLEUスコアの違いが明らかになった。
• 参考スコア（独自算出の注目度）: 58.105938143865906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most existing simultaneous machine translation (SiMT) systems are trained and evaluated on offline translation corpora. We argue that SiMT systems should be trained and tested on real interpretation data. To illustrate this argument, we propose an interpretation test set and conduct a realistic evaluation of SiMT trained on offline translations. Our results, on our test set along with 3 existing smaller scale language pairs, highlight the difference of up-to 13.83 BLEU score when SiMT models are evaluated on translation vs interpretation data. In the absence of interpretation training data, we propose a translation-to-interpretation (T2I) style transfer method which allows converting existing offline translations into interpretation-style data, leading to up-to 2.8 BLEU improvement. However, the evaluation gap remains notable, calling for constructing large-scale interpretation corpora better suited for evaluating and developing SiMT systems.
• Abstract（参考訳）: 既存の同時翻訳システム(SiMT)の多くはオフライン翻訳コーパスで訓練・評価されている。 simtシステムは実際の解釈データに基づいて訓練され、テストされるべきである。 この議論を説明するために,解釈テストセットを提案し,オフライン翻訳で訓練されたsimtの現実的な評価を行う。 本実験の結果は,既存の3つの小規模言語ペアと合わせて,翻訳データと解釈データでsimtモデルを評価する場合,最大13.83 bleuスコアの差を強調した。 解釈訓練データがない場合,既存のオフライン翻訳を解釈型データに変換するt2i方式の変換法を提案し,最大2.8 bleuまで改善する。 しかし、評価ギャップは依然として顕著であり、simtシステムの評価と開発に適した大規模解釈コーパスの構築が求められている。

関連論文リスト

• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• An approach for mistranslation removal from popular dataset for Indic MT Task [5.4755933832880865]
  トレーニングコーパスから誤訳を除去し,その性能と効率を評価するアルゴリズムを提案する。 実験には2つのIndic言語(IL)、すなわちHindi(HIN)とOdia(ODI)が選択される。 実験における翻訳の質は,BLEU, METEOR, RIBESなどの標準指標を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-12T06:37:19Z)
• Rethinking Round-Trip Translation for Machine Translation Evaluation [44.83568796515321]
  ラウンドトリップ翻訳が参照なしで自動評価に利用できるという驚くべき発見を報告する。 ラウンドトリップ翻訳が複数の機械翻訳評価タスクに有用であることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:06:20Z)
• Original or Translated? A Causal Analysis of the Impact of Translationese on Machine Translation Performance [31.47795931399995]
  人間に翻訳されたテキストは、同じ言語で自然に書かれたテキストとは異なる特徴を示す。 翻訳に関する既存の研究はいくつかの重要な要因を無視しており、結論は主として相関性があるが因果関係ではない。 これら2つの要因がMT性能に大きな因果関係を持つことを示す。
  論文  参考訳（メタデータ） (2022-05-04T19:17:55Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)
• Translating the Unseen? Yor\`ub\'a $\rightarrow$ English MT in Low-Resource, Morphologically-Unmarked Settings [8.006185289499049]
  特定の特徴が一方で形態素的にマークされているが、他方で欠落または文脈的にマークされている言語間の翻訳は、機械翻訳の重要なテストケースである。 本研究では,Yorub'a の素名詞を英語に翻訳する際に,SMTシステムと2つの NMT システムとの比較を行う。
  論文  参考訳（メタデータ） (2021-03-07T01:24:09Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)
• Cross-lingual Supervision Improves Unsupervised Neural Machine Translation [97.84871088440102]
  我々は,高リソース言語対からゼロリソース翻訳方向への弱教師付き信号を活用するために,多言語非教師付きNMTフレームワークを導入する。 6つのベンチマークの教師なし翻訳方向において,BLEUスコアが3以上あることにより,翻訳品質が大幅に向上する。
  論文  参考訳（メタデータ） (2020-04-07T05:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。