論文の概要: Language Model Prior for Low-Resource Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2004.14928v3
• Date: Mon, 26 Oct 2020 08:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:33:25.622092
• Title: Language Model Prior for Low-Resource Neural Machine Translation
• Title（参考訳）: 低リソースニューラルマシン翻訳に先立つ言語モデル
• Authors: Christos Baziotis, Barry Haddow, Alexandra Birch
• Abstract要約: ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
• 参考スコア（独自算出の注目度）: 85.55729693003829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The scarcity of large parallel corpora is an important obstacle for neural machine translation. A common solution is to exploit the knowledge of language models (LM) trained on abundant monolingual data. In this work, we propose a novel approach to incorporate a LM as prior in a neural translation model (TM). Specifically, we add a regularization term, which pushes the output distributions of the TM to be probable under the LM prior, while avoiding wrong predictions when the TM "disagrees" with the LM. This objective relates to knowledge distillation, where the LM can be viewed as teaching the TM about the target language. The proposed approach does not compromise decoding speed, because the LM is used only at training time, unlike previous work that requires it during inference. We present an analysis of the effects that different methods have on the distributions of the TM. Results on two low-resource machine translation datasets show clear improvements even with limited monolingual data.
• Abstract（参考訳）: 大規模並列コーパスの不足は、神経機械翻訳の重要な障害である。 共通の解決策は、豊富なモノリンガルデータに基づいて訓練された言語モデル(LM)の知識を活用することである。 本研究では,ニューラル翻訳モデル(TM)において,LMを事前に組み込む新しい手法を提案する。 具体的には,TM の出力分布を LM で事前に予測可能とする正規化項を追加し,TM が LM と「一致しない」場合の誤予測を回避する。 この目的は知識蒸留に関連しており、LMは対象言語についてTMを教えることができる。 lmは、推論中にそれを必要とする以前の作業とは異なり、トレーニング時にのみ使用されるため、提案されたアプローチはデコード速度を損なうことはない。 本稿では,tmの分布に異なる方法が与える影響の解析を行う。 2つの低リソース機械翻訳データセットの結果は、限定的な単言語データでも明らかに改善されている。

関連論文リスト

• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Prevent the Language Model from being Overconfident in Neural Machine Translation [21.203435303812043]
  本稿では,MTO(Margin-based Objective)とMSO(Margin-based Sentence Level Objective)を提案する。 WMT14英語-ドイツ語、WMT19中国語-英語、WMT14英語-フランス語翻訳タスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2021-05-24T05:34:09Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• El Departamento de Nosotros: How Machine Translated Corpora Affects Language Models in MRC Tasks [0.12183405753834563]
  大規模言語モデル(LM)の事前学習には大量のテキストコーパスが必要である。 下流自然言語処理タスクの微調整に直接翻訳コーパスを適用する際の注意点について検討する。 後処理に伴う慎重なキュレーションにより,性能が向上し,LM全体の堅牢性が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-03T22:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。