論文の概要: Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus

• arxiv url: http://arxiv.org/abs/2305.11142v1
• Date: Thu, 18 May 2023 17:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 13:40:17.696092
• Title: Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus
• Title（参考訳）: 厳密な注釈付き並列コーパスを用いた機械翻訳の談話中心評価
• Authors: Yuchen Eleanor Jiang, Tianyu Liu, Shuming Ma, Dongdong Zhang, Mrinmaya Sachan, Ryan Cotterell
• Abstract要約: 本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
• 参考スコア（独自算出の注目度）: 82.07304301996562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several recent papers claim human parity at sentence-level Machine Translation (MT), especially in high-resource languages. Thus, in response, the MT community has, in part, shifted its focus to document-level translation. Translating documents requires a deeper understanding of the structure and meaning of text, which is often captured by various kinds of discourse phenomena such as consistency, coherence, and cohesion. However, this renders conventional sentence-level MT evaluation benchmarks inadequate for evaluating the performance of context-aware MT systems. This paper presents a new dataset with rich discourse annotations, built upon the large-scale parallel corpus BWB introduced in Jiang et al. (2022). The new BWB annotation introduces four extra evaluation aspects, i.e., entity, terminology, coreference, and quotation, covering 15,095 entity mentions in both languages. Using these annotations, we systematically investigate the similarities and differences between the discourse structures of source and target languages, and the challenges they pose to MT. We discover that MT outputs differ fundamentally from human translations in terms of their latent discourse structures. This gives us a new perspective on the challenges and opportunities in document-level MT. We make our resource publicly available to spur future research in document-level MT and the generalization to other language translation tasks.
• Abstract（参考訳）: 最近のいくつかの論文では、特に高リソース言語において、センテンスレベル機械翻訳(MT)における人間の同等性を主張している。 そのため、mtコミュニティは部分的に文書レベルの翻訳に重点を移している。 文書の翻訳には、テキストの構造と意味を深く理解する必要があるが、一貫性、一貫性、一貫性、結束といった様々な談話現象によってしばしば捉えられる。 しかし, 従来の文レベルMT評価ベンチマークでは, 文脈認識型MTシステムの性能評価には不十分である。 本稿では,jiang et al. (2022) で導入された大規模並列コーパスbwbに基づいて,豊富な談話アノテーションを備えた新しいデータセットを提案する。 新しいbwbアノテーションは、エンティティ、用語、コリファレンス、引用という4つの追加評価要素を導入し、両方の言語で15,095のエンティティ参照をカバーしている。 これらのアノテーションを用いて,ソース言語とターゲット言語の会話構造との類似性と差異を体系的に検討し,mtの出力は,その潜在的な談話構造の観点から,基本的に人間の翻訳と異なることが判明した。 これにより、文書レベルのMTにおける課題と機会に関する新たな視点が得られます。文書レベルのMTにおける今後の研究と、他の言語翻訳タスクへの一般化を促進するために、我々のリソースを公開します。

関連論文リスト

• Improving Long Context Document-Level Machine Translation [51.359400776242786]
  翻訳の一貫性と凝集性を改善するために、ニューラルネットワーク翻訳(NMT)のための文書レベルのコンテキストが不可欠である。 文書レベルのNMTに関する多くの著作が出版されているが、ほとんどの作品では局所的な文脈に制限されている。 本稿では、メモリ消費を同時に低減しつつ、シーケンスの最も関連性の高い部分に注意を集中させる制約付注意変種を提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:28:48Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• A Bilingual Parallel Corpus with Discourse Annotations [82.07304301996562]
  本稿では,Jiang et al. (2022)で最初に導入された大きな並列コーパスであるBWBと,注釈付きテストセットについて述べる。 BWBコーパスは、専門家によって英語に翻訳された中国の小説で構成されており、注釈付きテストセットは、様々な談話現象をモデル化する機械翻訳システムの能力を調査するために設計されている。
  論文  参考訳（メタデータ） (2022-10-26T12:33:53Z)
• DivEMT: Neural Machine Translation Post-Editing Effort Across Typologically Diverse Languages [5.367993194110256]
  DivEMTは、ニューラルネットワーク翻訳(NMT)に関する、タイプ的かつ多様なターゲット言語に対する初めての公開後研究である。 我々は、Google Translateとオープンソースの多言語モデルmBART50の2つの最先端NTTシステムの翻訳生産性への影響を評価する。
  論文  参考訳（メタデータ） (2022-05-24T17:22:52Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• Diving Deep into Context-Aware Neural Machine Translation [36.17847243492193]
  本稿では,4つの領域における文書レベルのNMTモデルの性能を解析する。 ドキュメントレベルのNMTに最適なアプローチはひとつもありません。
  論文  参考訳（メタデータ） (2020-10-19T13:23:12Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)
• Can Your Context-Aware MT System Pass the DiP Benchmark Tests? : Evaluation Benchmarks for Discourse Phenomena in Machine Translation [7.993547048820065]
  本稿では,4つの主要な談話現象の追跡と改善を目的としたMTベンチマークデータセットについて紹介する。 驚くべきことに、既存の文脈認識モデルでは、言語や現象間の会話関連翻訳が一貫して改善されない。
  論文  参考訳（メタデータ） (2020-04-30T07:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。