論文の概要: Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2003.13205v1
• Date: Mon, 30 Mar 2020 03:38:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 07:38:20.063903
• Title: Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation
• Title（参考訳）: 文書レベルニューラルマシン翻訳のための文脈化文表現の学習
• Authors: Pei Zhang, Xu Zhang, Wei Chen, Jian Yu, Yanfeng Wang, Deyi Xiong
• Abstract要約: 文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 59.191079800436114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document-level machine translation incorporates inter-sentential dependencies into the translation of a source sentence. In this paper, we propose a new framework to model cross-sentence dependencies by training neural machine translation (NMT) to predict both the target translation and surrounding sentences of a source sentence. By enforcing the NMT model to predict source context, we want the model to learn "contextualized" source sentence representations that capture document-level dependencies on the source side. We further propose two different methods to learn and integrate such contextualized sentence embeddings into NMT: a joint training method that jointly trains an NMT model with the source context prediction model and a pre-training & fine-tuning method that pretrains the source context prediction model on a large-scale monolingual document corpus and then fine-tunes it with the NMT model. Experiments on Chinese-English and English-German translation show that both methods can substantially improve the translation quality over a strong document-level Transformer baseline.
• Abstract（参考訳）: 文書レベルの機械翻訳は、ソース文の翻訳に相互依存を組み込む。 本稿では,ニューラルマシン翻訳(NMT)を学習し,対象文の翻訳と周辺文の両方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。 ソースコンテキストを予測するためにNMTモデルを強制することにより、ソース側のドキュメントレベルの依存関係をキャプチャする"コンテキスト化された"ソース文表現を学習したいと思っています。 さらに、NMTモデルとソースコンテキスト予測モデルとを協調的にトレーニングする共同学習法と、大規模モノリンガル文書コーパス上でソースコンテキスト予測モデルを事前学習し、NMTモデルで微調整する事前学習・微調整法という、2つの異なる手法を提案する。 中国語と英語とドイツ語の翻訳実験では、どちらの方法も強力な文書レベルのトランスフォーマーベースラインよりも翻訳品質が大幅に向上することを示した。

関連論文リスト

• A Case Study on Context-Aware Neural Machine Translation with Multi-Task Learning [49.62044186504516]
  文書レベルのニューラルネットワーク翻訳(DocNMT)では、コンテクストやソース文のエンコーディングにおいてマルチエンコーダアプローチが一般的である。 近年の研究では、コンテキストエンコーダがノイズを発生させ、コンテキストの選択に頑健なモデルを実現することが示されている。 本稿では、マルチタスク学習(MTL)を通してコンテキストエンコーディングを明示的にモデル化することで、コンテキスト選択に敏感なモデルを実現することにより、この観察をさらに検討する。
  論文  参考訳（メタデータ） (2024-07-03T12:50:49Z)
• SMDT: Selective Memory-Augmented Neural Document Translation [53.4627288890316]
  本稿では,文脈の広い仮説空間を含む文書を扱うために,選択的メモリ拡張型ニューラル文書翻訳モデルを提案する。 トレーニングコーパスから類似のバイリンガル文ペアを抽出し,グローバルな文脈を拡大する。 ローカルなコンテキストと多様なグローバルなコンテキストをキャプチャする選択的なメカニズムで、2ストリームのアテンションモデルを拡張する。
  論文  参考訳（メタデータ） (2022-01-05T14:23:30Z)
• Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information [14.671424999873812]
  ソース文と文脈文のコア参照に基づく新しいデータ拡張とコントラスト学習方式であるCorefCLを提案する。 コンテキスト文で検出されたコア参照の言及を自動的に破損させることで、CorefCLはコア参照の不整合に敏感なモデルをトレーニングすることができる。 実験では,英語・ドイツ語・韓国語タスクの比較モデルのBLEUを一貫して改善した。
  論文  参考訳（メタデータ） (2021-09-13T05:18:47Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Self-supervised and Supervised Joint Training for Resource-rich Machine Translation [30.502625878505732]
  テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している 我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:35:40Z)
• Context-Adaptive Document-Level Neural Machine Translation [1.52292571922932]
  モデルが必要かつ有用なコンテキストを適用できるようにするデータ適応メソッドを紹介します。 実験によれば、提案手法は1.99 bleu ポイントのゲインで従来の手法よりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2021-04-16T17:43:58Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)
• Capturing document context inside sentence-level neural machine translation models with self-training [5.129814362802968]
  文書レベルのニューラルマシン翻訳は、文レベルの翻訳よりもあまり注目されず、遅れを取っている。 本稿では,並列文書レベルのコーパス上で,特殊なモデルを訓練する必要のない手法を提案する。 我々のアプローチは、モデルによる選択を強化するため、文書内の他の文で同じ選択がされる可能性が高くなる。
  論文  参考訳（メタデータ） (2020-03-11T12:36:17Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。