論文の概要: Importance-Aware Data Augmentation for Document-Level Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2401.15360v1
• Date: Sat, 27 Jan 2024 09:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 18:54:15.814272
• Title: Importance-Aware Data Augmentation for Document-Level Neural Machine Translation
• Title（参考訳）: 文書レベルのニューラルマシン翻訳のための重要度対応データ拡張
• Authors: Minghao Wu, Yufei Wang, George Foster, Lizhen Qu, Gholamreza Haffari
• Abstract要約: ドキュメントレベルのニューラルマシン翻訳(DocNMT)は、一貫性と結合性の両方を持つ翻訳を生成することを目的としている。 長い入力長とトレーニングデータの可用性が限られているため、DocNMTはデータスパシティーの課題に直面していることが多い。 本稿では,隠れ状態のノルムとトレーニング勾配から推定したトークン重要度情報に基づいてトレーニングデータを拡張するDocNMTのための新しいIADAアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 51.74178767827934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document-level neural machine translation (DocNMT) aims to generate translations that are both coherent and cohesive, in contrast to its sentence-level counterpart. However, due to its longer input length and limited availability of training data, DocNMT often faces the challenge of data sparsity. To overcome this issue, we propose a novel Importance-Aware Data Augmentation (IADA) algorithm for DocNMT that augments the training data based on token importance information estimated by the norm of hidden states and training gradients. We conduct comprehensive experiments on three widely-used DocNMT benchmarks. Our empirical results show that our proposed IADA outperforms strong DocNMT baselines as well as several data augmentation approaches, with statistical significance on both sentence-level and document-level BLEU.
• Abstract（参考訳）: document-level neural machine translation(docnmt)は、文レベルの翻訳とは対照的に、一貫性と結合性を備えた翻訳を生成することを目的としている。 しかし、長い入力長とトレーニングデータの可用性の制限のため、DocNMTはデータスパシティーの課題に直面していることが多い。 そこで本研究では,隠れ状態の規範と学習勾配から推定されるトークン重要度情報に基づくトレーニングデータを拡張した,docnmt用重要度認識データ拡張(iada)アルゴリズムを提案する。 広く使われている3つのDocNMTベンチマークについて包括的な実験を行った。 実験の結果,提案したIADAは,文章レベルと文書レベルの両方で統計学的に有意なDocNMTベースラインといくつかのデータ拡張アプローチに優れていた。

関連論文リスト

• Towards Inducing Document-Level Abilities in Standard Multilingual Neural Machine Translation Models [4.625277907331917]
  この研究は、訓練済みのNMTモデルを絶対正弦波のPEから相対的なPEに移行するという課題に対処する。 パラメータ効率のよい微調整は,少量の高品質なデータしか利用せず,この遷移をうまく促進できることを示す。 いくつかの言語における少量の長文データが、言語間長の一般化に十分であることがわかった。
  論文  参考訳（メタデータ） (2024-08-21T07:23:34Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages [3.475371300689165]
  本稿では,高品質な文ペアを増補し,半教師付き方式でNMTモデルを訓練することにより,低リソース言語の問題に対処する,シンプルかつ効果的な手法を提案する。 具体的には、教師あり学習におけるクロスエントロピー損失と、疑似および拡張的対象文が与えられた教師なしのファッションにおけるKLディバージェンスを組み合わせる。 実験の結果,提案手法はNMTベースライン,特に0.46-2.03BLEUスコアを持つ低リソースデータセットにおいて,NMTベースラインを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-04-02T15:24:08Z)
• Document Flattening: Beyond Concatenating Context for Document-Level Neural Machine Translation [45.56189820979461]
  Document Flattening(DocFlat)技術は、Flat-Batch Attention(FB)とNeural Context Gate(NCG)をTransformerモデルに統合する。 我々は、英語とドイツ語の翻訳のための3つのベンチマークデータセットに関する総合的な実験と分析を行う。
  論文  参考訳（メタデータ） (2023-02-16T04:38:34Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Alternated Training with Synthetic and Authentic Data for Neural Machine Translation [49.35605028467887]
  ニューラルマシン翻訳(NMT)のための合成および認証データを用いた交互トレーニングを提案する。 従来の研究と比較して,ノイズの多い合成データによってNMTモデルのトレーニングが妨げられるのを防止するためのガイダンスとして,認証データを導入している。 中国語・ドイツ語・英語の翻訳タスクの実験は、我々のアプローチがいくつかの強いベースラインにまたがって性能を向上させることを示している。
  論文  参考訳（メタデータ） (2021-06-16T07:13:16Z)
• Document-level Neural Machine Translation with Document Embeddings [82.4684444847092]
  この研究は、複数の形式の文書埋め込みの観点から、詳細な文書レベルのコンテキストを活用することに重点を置いている。 提案する文書認識NMTは,大域的および局所的な文書レベルの手がかりをソース端に導入することにより,Transformerベースラインを強化するために実装されている。
  論文  参考訳（メタデータ） (2020-09-16T19:43:29Z)
• Understanding Learning Dynamics for Neural Machine Translation [53.23463279153577]
  ロス・チェンジ・アロケーション (LCA)citeplan 2019-loss-change-allocation を用いてNMTの学習力学を理解することを提案する。 LCAは更新毎にデータセット全体の勾配を計算する必要があるため、NMTシナリオで実際に実施するための近似を提示する。 シミュレーション実験により, 近似計算は効率的であり, 実験により一貫した結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-04-05T13:32:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。