論文の概要: Improving Language Model Integration for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2306.05077v1
• Date: Thu, 8 Jun 2023 10:00:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 15:07:48.950555
• Title: Improving Language Model Integration for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のための言語モデル統合の改善
• Authors: Christian Herold and Yingbo Gao and Mohammad Zeineldeen and Hermann Ney
• Abstract要約: 暗黙的な言語モデルの説明は言語モデル融合の性能を大幅に向上させることを示す。 暗黙的な言語モデルの説明は言語モデル融合の性能を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 43.85486035238116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of language models for neural machine translation has been extensively studied in the past. It has been shown that an external language model, trained on additional target-side monolingual data, can help improve translation quality. However, there has always been the assumption that the translation model also learns an implicit target-side language model during training, which interferes with the external language model at decoding time. Recently, some works on automatic speech recognition have demonstrated that, if the implicit language model is neutralized in decoding, further improvements can be gained when integrating an external language model. In this work, we transfer this concept to the task of machine translation and compare with the most prominent way of including additional monolingual data - namely back-translation. We find that accounting for the implicit language model significantly boosts the performance of language model fusion, although this approach is still outperformed by back-translation.
• Abstract（参考訳）: ニューラルマシン翻訳のための言語モデルの統合は、過去に広く研究されてきた。 追加のターゲット側モノリンガルデータに基づいてトレーニングされた外部言語モデルが翻訳品質の向上に役立つことが示されている。 しかしながら、翻訳モデルはトレーニング中に暗黙的な対象言語モデルも学習し、復号時に外部言語モデルに干渉する、という前提は常に存在してきた。 近年,暗黙の言語モデルが復号化において中立化されている場合,外部言語モデルを統合する際に,さらなる改良が期待できることを示す研究が行われている。 本研究では、この概念を機械翻訳のタスクに転送し、追加の単言語データを含む最も顕著な方法、すなわちバックトランスレーションと比較する。 暗黙的な言語モデルを説明することは言語モデル融合の性能を著しく向上させるが、それでもバックトランスレーションにより性能は向上する。

関連論文リスト

• Self-Translate-Train: Enhancing Cross-Lingual Transfer of Large Language Models via Inherent Capability [31.025371443719404]
  自己翻訳-トレイン(Self-Translate-Train)は、大規模言語モデルがトレーニングデータをターゲット言語に翻訳し、自身の生成されたデータに基づいてモデルを微調整する手法である。 自己翻訳-トレインがゼロショット転送より優れていることを示すことによって、LLMの言語間機能を引き出すためのより良い手法のさらなる探索を奨励する。
  論文  参考訳（メタデータ） (2024-06-29T14:40:23Z)
• Do Multilingual Language Models Think Better in English? [24.713751471567395]
  翻訳テストは多言語言語モデルの性能を向上させるための一般的な手法である。 本研究では,外部翻訳システムの必要性を克服する自己翻訳という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-02T15:29:22Z)
• Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining [2.3513645401551333]
  既存の多言語wav2vec 2.0モデルを新しい言語に適用する可能性を検討する。 この結果から, 継続事前学習がwav2vec 2.0モデルを新しい言語に適応させる最も効果的な方法であることが示唆された。 関連言語の種類や類似した音韻特性を持つ非関連言語で事前訓練されたモデルが利用可能である場合,その言語からの付加データを用いた多言語微調整は,音声認識性能に肯定的な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-01-18T03:57:53Z)
• Accidental Learners: Spoken Language Identification in Multilingual Self-Supervised Models [11.439430077017635]
  事前学習された音声モデルは,下位層における言語識別情報を最適に符号化する。 これらの層から得られる埋め込みは、目に見えない言語を分類するのに非常に堅牢であることを示す。 NVIDIA NeMoツールキットを通じてモデルをオープンソースにしています。
  論文  参考訳（メタデータ） (2022-11-09T18:53:59Z)
• MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation [0.0]
  大規模な事前訓練された言語モデルは、NLPに顕著な進歩をもたらした。 ゼロショット多言語機械翻訳における自己教師付き事前学習とデータ拡張の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2022-10-01T17:01:30Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
  現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。 前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。 本稿では,ラベルのないデータを利用して性能を向上する。
  論文  参考訳（メタデータ） (2021-05-08T08:04:30Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。