論文の概要: Improving Long Context Document-Level Machine Translation

• arxiv url: http://arxiv.org/abs/2306.05183v1
• Date: Thu, 8 Jun 2023 13:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 14:15:16.413828
• Title: Improving Long Context Document-Level Machine Translation
• Title（参考訳）: 長文文書レベル機械翻訳の改善
• Authors: Christian Herold and Hermann Ney
• Abstract要約: 翻訳の一貫性と凝集性を改善するために、ニューラルネットワーク翻訳(NMT)のための文書レベルのコンテキストが不可欠である。 文書レベルのNMTに関する多くの著作が出版されているが、ほとんどの作品では局所的な文脈に制限されている。 本稿では、メモリ消費を同時に低減しつつ、シーケンスの最も関連性の高い部分に注意を集中させる制約付注意変種を提案する。
• 参考スコア（独自算出の注目度）: 51.359400776242786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document-level context for neural machine translation (NMT) is crucial to improve the translation consistency and cohesion, the translation of ambiguous inputs, as well as several other linguistic phenomena. Many works have been published on the topic of document-level NMT, but most restrict the system to only local context, typically including just the one or two preceding sentences as additional information. This might be enough to resolve some ambiguous inputs, but it is probably not sufficient to capture some document-level information like the topic or style of a conversation. When increasing the context size beyond just the local context, there are two challenges: (i) the~memory usage increases exponentially (ii) the translation performance starts to degrade. We argue that the widely-used attention mechanism is responsible for both issues. Therefore, we propose a constrained attention variant that focuses the attention on the most relevant parts of the sequence, while simultaneously reducing the memory consumption. For evaluation, we utilize targeted test sets in combination with novel evaluation techniques to analyze the translations in regards to specific discourse-related phenomena. We find that our approach is a good compromise between sentence-level NMT vs attending to the full context, especially in low resource scenarios.
• Abstract（参考訳）: ニューラルマシン翻訳のための文書レベルの文脈は、翻訳の一貫性と凝集、曖昧な入力の翻訳、および他のいくつかの言語現象を改善するために重要である。 文書レベルのNMTに関する多くの著作が出版されているが、ほとんどの作品では、通常、1つまたは2つの先行する文を追加情報として含む、ローカルコンテキストのみに制限されている。 これは曖昧な入力を解決するのに十分かもしれないが、おそらく、トピックや会話のスタイルといったドキュメントレベルの情報を取得するのに十分ではないだろう。 ローカルコンテキスト以上のコンテキストサイズを拡大するには、2つの課題があります。 i) メモリ使用量は指数関数的に増加する (ii)翻訳性能が低下し始める。 我々は、広く使われている注意機構が両方の問題に責任を負うと論じている。 そこで本研究では,メモリ消費を低減しつつ,シーケンスの最も関連する部分に注意を集中させる制約付き注意型を提案する。 評価のために,目的とするテストセットと新しい評価手法を組み合わせて,特定の談話関連現象に関する翻訳を分析する。 今回のアプローチは,文レベルのnmtとフルコンテキスト,特に低リソースシナリオとのよい妥協点であることが分かりました。

関連論文リスト

• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
  文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。 そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
  論文  参考訳（メタデータ） (2023-06-08T11:30:43Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• SMDT: Selective Memory-Augmented Neural Document Translation [53.4627288890316]
  本稿では,文脈の広い仮説空間を含む文書を扱うために,選択的メモリ拡張型ニューラル文書翻訳モデルを提案する。 トレーニングコーパスから類似のバイリンガル文ペアを抽出し,グローバルな文脈を拡大する。 ローカルなコンテキストと多様なグローバルなコンテキストをキャプチャする選択的なメカニズムで、2ストリームのアテンションモデルを拡張する。
  論文  参考訳（メタデータ） (2022-01-05T14:23:30Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information [14.671424999873812]
  ソース文と文脈文のコア参照に基づく新しいデータ拡張とコントラスト学習方式であるCorefCLを提案する。 コンテキスト文で検出されたコア参照の言及を自動的に破損させることで、CorefCLはコア参照の不整合に敏感なモデルをトレーニングすることができる。 実験では,英語・ドイツ語・韓国語タスクの比較モデルのBLEUを一貫して改善した。
  論文  参考訳（メタデータ） (2021-09-13T05:18:47Z)
• Document-aligned Japanese-English Conversation Parallel Corpus [4.793904440030568]
  文レベル (SL) 機械翻訳 (MT) は、多くの高リソース言語で許容できる品質に達しているが、文書レベル (DL) MT には達していない。 バランスの取れた高品質のビジネス会話データを含む文書整合日英会話コーパスを提示し、チューニングとテストを行います。 私たちは、コーパスを使用してMTモデルをトレーニングし、コンテキストの使用が改善につながることを示す。
  論文  参考訳（メタデータ） (2020-12-11T06:03:33Z)
• Diving Deep into Context-Aware Neural Machine Translation [36.17847243492193]
  本稿では,4つの領域における文書レベルのNMTモデルの性能を解析する。 ドキュメントレベルのNMTに最適なアプローチはひとつもありません。
  論文  参考訳（メタデータ） (2020-10-19T13:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。