論文の概要: Using Context in Neural Machine Translation Training Objectives

• arxiv url: http://arxiv.org/abs/2005.01483v1
• Date: Mon, 4 May 2020 13:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 00:46:23.003445
• Title: Using Context in Neural Machine Translation Training Objectives
• Title（参考訳）: ニューラルマシン翻訳学習目標における文脈の利用
• Authors: Danielle Saunders, Felix Stahlberg, Bill Byrne
• Abstract要約: バッチレベルの文書を用いた文書レベルのメトリクスを用いたニューラルネットワーク翻訳(NMT)トレーニングを提案する。 トレーニングは、シーケンスメトリクスよりもドキュメントレベルのメトリクスの方が堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 23.176247496139574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Neural Machine Translation (NMT) training using document-level metrics with batch-level documents. Previous sequence-objective approaches to NMT training focus exclusively on sentence-level metrics like sentence BLEU which do not correspond to the desired evaluation metric, typically document BLEU. Meanwhile research into document-level NMT training focuses on data or model architecture rather than training procedure. We find that each of these lines of research has a clear space in it for the other, and propose merging them with a scheme that allows a document-level evaluation metric to be used in the NMT training objective. We first sample pseudo-documents from sentence samples. We then approximate the expected document BLEU gradient with Monte Carlo sampling for use as a cost function in Minimum Risk Training (MRT). This two-level sampling procedure gives NMT performance gains over sequence MRT and maximum-likelihood training. We demonstrate that training is more robust for document-level metrics than with sequence metrics. We further demonstrate improvements on NMT with TER and Grammatical Error Correction (GEC) using GLEU, both metrics used at the document level for evaluations.
• Abstract（参考訳）: バッチレベルの文書を用いた文書レベルのメトリクスを用いたニューラルネットワーク翻訳(NMT)トレーニングを提案する。 NMTトレーニングに対する従来のシーケンスオブジェクトアプローチは、望まれる評価基準(典型的には文書BLEU)に対応しない文BLEUのような文レベルのメトリクスにのみフォーカスする。 一方、文書レベルのNMTトレーニングの研究は、訓練手順よりもデータやモデルアーキテクチャに焦点を当てている。 我々は,これらの研究の各々が相互に明確な空間を持っていることを見出し,文書レベルの評価基準をnmt訓練目的に使用可能にするスキームと統合することを提案する。 まず、文サンプルから擬似文書をサンプリングする。 次に、最小リスクトレーニング(MRT)におけるコスト関数として、モンテカルロサンプリングを用いて、期待される文書BLEU勾配を近似する。 この2段階のサンプリング処理により、NMTはシーケンスMRTと最大様相トレーニングよりもパフォーマンスが向上する。 シーケンスメトリクスよりもドキュメントレベルのメトリクスの方がトレーニングが堅牢であることを実証する。 我々はさらに,文書レベルで評価に使用する2つの指標である gleu を用いた nmt と文法的誤り訂正 (gec) の改善を実証する。

関連論文リスト

• Instruction-Tuned LLMs Succeed in Document-Level MT Without Fine-Tuning -- But BLEU Turns a Blind Eye [15.987448306012167]
  大規模言語モデル(LLM)は機械翻訳(MT)を含む様々なNLPタスクに優れている。 本研究は,文書レベル翻訳(docMT)における命令調整型LLMの本質的能力について検討する。
  論文  参考訳（メタデータ） (2024-10-28T11:49:58Z)
• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• Importance-Aware Data Augmentation for Document-Level Neural Machine Translation [51.74178767827934]
  ドキュメントレベルのニューラルマシン翻訳(DocNMT)は、一貫性と結合性の両方を持つ翻訳を生成することを目的としている。 長い入力長とトレーニングデータの可用性が限られているため、DocNMTはデータスパシティーの課題に直面していることが多い。 本稿では,隠れ状態のノルムとトレーニング勾配から推定したトークン重要度情報に基づいてトレーニングデータを拡張するDocNMTのための新しいIADAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T09:27:47Z)
• On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
  文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。 そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
  論文  参考訳（メタデータ） (2023-06-08T11:30:43Z)
• Exploring Paracrawl for Document-level Neural Machine Translation [21.923881766940088]
  文書レベルのニューラルマシン翻訳(NMT)は、多くのデータセット上で文レベルのNMTよりも優れています。 パラクロールからパラクロールのパラパラパラパラグラフのみを用いて訓練した文書レベルのNMTモデルを実文書の翻訳に利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-20T11:21:34Z)
• Embarrassingly Easy Document-Level MT Metrics: How to Convert Any Pretrained Metric Into a Document-Level Metric [15.646714712131148]
  文書レベルでコンテキストを組み込むための事前学習メトリクスを拡張する手法を提案する。 その結果, 実験条件の約85%において, 文章レベルの指標よりも高い結果が得られた。 我々の実験結果は、私たちの最初の仮説を支持し、メトリクスの単純な拡張によってコンテキストを活用できることを示す。
  論文  参考訳（メタデータ） (2022-09-27T19:42:22Z)
• Document-level Neural Machine Translation with Document Embeddings [82.4684444847092]
  この研究は、複数の形式の文書埋め込みの観点から、詳細な文書レベルのコンテキストを活用することに重点を置いている。 提案する文書認識NMTは,大域的および局所的な文書レベルの手がかりをソース端に導入することにより,Transformerベースラインを強化するために実装されている。
  論文  参考訳（メタデータ） (2020-09-16T19:43:29Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)
• Capturing document context inside sentence-level neural machine translation models with self-training [5.129814362802968]
  文書レベルのニューラルマシン翻訳は、文レベルの翻訳よりもあまり注目されず、遅れを取っている。 本稿では,並列文書レベルのコーパス上で,特殊なモデルを訓練する必要のない手法を提案する。 我々のアプローチは、モデルによる選択を強化するため、文書内の他の文で同じ選択がされる可能性が高くなる。
  論文  参考訳（メタデータ） (2020-03-11T12:36:17Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。