論文の概要: A Case Study on Context-Aware Neural Machine Translation with Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2407.03076v1
- Date: Wed, 3 Jul 2024 12:50:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 14:16:16.234656
- Title: A Case Study on Context-Aware Neural Machine Translation with Multi-Task Learning
- Title(参考訳): マルチタスク学習を用いた文脈認識型ニューラルネットワーク翻訳の一事例
- Authors: Ramakrishna Appicharla, Baban Gain, Santanu Pal, Asif Ekbal, Pushpak Bhattacharyya,
- Abstract要約: 文書レベルのニューラルネットワーク翻訳(DocNMT)では、コンテクストやソース文のエンコーディングにおいてマルチエンコーダアプローチが一般的である。
近年の研究では、コンテキストエンコーダがノイズを発生させ、コンテキストの選択に頑健なモデルを実現することが示されている。
本稿では、マルチタスク学習(MTL)を通してコンテキストエンコーディングを明示的にモデル化することで、コンテキスト選択に敏感なモデルを実現することにより、この観察をさらに検討する。
- 参考スコア(独自算出の注目度): 49.62044186504516
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: In document-level neural machine translation (DocNMT), multi-encoder approaches are common in encoding context and source sentences. Recent studies \cite{li-etal-2020-multi-encoder} have shown that the context encoder generates noise and makes the model robust to the choice of context. This paper further investigates this observation by explicitly modelling context encoding through multi-task learning (MTL) to make the model sensitive to the choice of context. We conduct experiments on cascade MTL architecture, which consists of one encoder and two decoders. Generation of the source from the context is considered an auxiliary task, and generation of the target from the source is the main task. We experimented with German--English language pairs on News, TED, and Europarl corpora. Evaluation results show that the proposed MTL approach performs better than concatenation-based and multi-encoder DocNMT models in low-resource settings and is sensitive to the choice of context. However, we observe that the MTL models are failing to generate the source from the context. These observations align with the previous studies, and this might suggest that the available document-level parallel corpora are not context-aware, and a robust sentence-level model can outperform the context-aware models.
- Abstract(参考訳): 文書レベルのニューラルネットワーク翻訳(DocNMT)では、コンテクストやソース文のエンコーディングにおいてマルチエンコーダアプローチが一般的である。
近年の「cite{li-etal-2020-multi-encoder}」研究は、文脈エンコーダがノイズを発生させ、そのモデルを文脈の選択に頑健にすることを示した。
本稿では、マルチタスク学習(MTL)を通してコンテキストエンコーディングを明示的にモデル化することで、コンテキスト選択に敏感なモデルを実現することにより、この観察をさらに検討する。
1つのエンコーダと2つのデコーダからなるカスケードMTLアーキテクチャの実験を行った。
コンテキストからのソースの生成は補助的タスクと見なされ、ソースからのターゲットの生成が主なタスクである。
我々はNews,TED,Europarl corporaでドイツ語と英語のペアを実験した。
評価の結果,提案手法は,低リソース環境下での結合型およびマルチエンコーダDocNMTモデルよりも優れた性能を示し,コンテキスト選択に敏感であることがわかった。
しかし、MTLモデルは、コンテキストからソースを生成するのに失敗している。
これらの観察は、以前の研究と一致しており、利用可能な文書レベルの並列コーパスは文脈認識ではなく、頑健な文レベルモデルは文脈認識モデルよりも優れていることを示唆している。
関連論文リスト
- A Case Study on Context Encoding in Multi-Encoder based Document-Level
Neural Machine Translation [20.120962279327493]
本研究では,ContraProテストセットのモデル評価を行い,異なる文脈が代名詞翻訳精度に与える影響について検討した。
分析の結果,文脈エンコーダは談話レベルの情報を学ぶのに十分な情報を提供することがわかった。
論文 参考訳(メタデータ) (2023-08-11T10:35:53Z) - On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。
そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
論文 参考訳(メタデータ) (2023-06-08T11:30:43Z) - HanoiT: Enhancing Context-aware Translation via Selective Context [95.93730812799798]
コンテキスト対応ニューラルネットワーク翻訳は、文書レベルのコンテキストを使用して翻訳品質を改善することを目的としている。
無関係または自明な単語は、いくつかのノイズをもたらし、モデルが現在の文と補助的な文脈の関係を学ぶのを邪魔する可能性がある。
そこで本稿では,階層的選択機構を備えたエンド・ツー・エンドのエンコーダ・デコーダモデルを提案する。
論文 参考訳(メタデータ) (2023-01-17T12:07:13Z) - SMDT: Selective Memory-Augmented Neural Document Translation [53.4627288890316]
本稿では,文脈の広い仮説空間を含む文書を扱うために,選択的メモリ拡張型ニューラル文書翻訳モデルを提案する。
トレーニングコーパスから類似のバイリンガル文ペアを抽出し,グローバルな文脈を拡大する。
ローカルなコンテキストと多様なグローバルなコンテキストをキャプチャする選択的なメカニズムで、2ストリームのアテンションモデルを拡張する。
論文 参考訳(メタデータ) (2022-01-05T14:23:30Z) - Contrastive Learning for Context-aware Neural Machine TranslationUsing
Coreference Information [14.671424999873812]
ソース文と文脈文のコア参照に基づく新しいデータ拡張とコントラスト学習方式であるCorefCLを提案する。
コンテキスト文で検出されたコア参照の言及を自動的に破損させることで、CorefCLはコア参照の不整合に敏感なモデルをトレーニングすることができる。
実験では,英語・ドイツ語・韓国語タスクの比較モデルのBLEUを一貫して改善した。
論文 参考訳(メタデータ) (2021-09-13T05:18:47Z) - Divide and Rule: Training Context-Aware Multi-Encoder Translation Models
with Little Resources [20.057692375546356]
マルチエンコーダモデルは、文書レベルのコンテキスト情報を現在の文と共にエンコードすることで、翻訳品質の向上を目指しています。
これらのパラメータのトレーニングは、コンテキストのトレーニング信号がスパースしているため、大量のデータを必要とする。
本稿では,並列文集合の訓練信号を豊かにするための,分割文対に基づく効率的な代替手法を提案する。
論文 参考訳(メタデータ) (2021-03-31T15:15:32Z) - Context-aware Decoder for Neural Machine Translation using a Target-side
Document-Level Language Model [12.543106304662059]
本稿では,文書レベルの言語モデルをデコーダに組み込むことで,文レベルの翻訳モデルを文脈認識モデルに変換する手法を提案する。
我々のデコーダは文レベルのパラレルコーパスとモノリンガルコーパスのみに基づいて構築されている。
理論的観点からは、この研究の核となる部分は、文脈と現在の文間のポイントワイドな相互情報を用いた文脈情報の新しい表現である。
論文 参考訳(メタデータ) (2020-10-24T08:06:18Z) - Learning Contextualized Sentence Representations for Document-Level
Neural Machine Translation [59.191079800436114]
文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。
本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-30T03:38:01Z) - Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。
本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T03:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。