論文の概要: Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning

• arxiv url: http://arxiv.org/abs/2303.10966v2
• Date: Tue, 19 Sep 2023 07:37:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 20:11:25.776352
• Title: Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning
• Title（参考訳）: Consistency-Aware Meta-Learning を用いた信頼性ニューラルマシン翻訳
• Authors: Rongxiang Weng, Qiang Wang, Wensen Cheng, Changfeng Zhu, Min Zhang
• Abstract要約: 現在のニューラル機械翻訳(NMT)システムは信頼性の欠如に悩まされている。 本稿では,モデルに依存しないメタラーニング(MAML)アルゴリズムをベースとした,一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。
• 参考スコア（独自算出の注目度）: 24.64700139151659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural machine translation (NMT) has achieved remarkable success in producing high-quality translations. However, current NMT systems suffer from a lack of reliability, as their outputs that are often affected by lexical or syntactic changes in inputs, resulting in large variations in quality. This limitation hinders the practicality and trustworthiness of NMT. A contributing factor to this problem is that NMT models trained with the one-to-one paradigm struggle to handle the source diversity phenomenon, where inputs with the same meaning can be expressed differently. In this work, we treat this problem as a bilevel optimization problem and present a consistency-aware meta-learning (CAML) framework derived from the model-agnostic meta-learning (MAML) algorithm to address it. Specifically, the NMT model with CAML (named CoNMT) first learns a consistent meta representation of semantically equivalent sentences in the outer loop. Subsequently, a mapping from the meta representation to the output sentence is learned in the inner loop, allowing the NMT model to translate semantically equivalent sentences to the same target sentence. We conduct experiments on the NIST Chinese to English task, three WMT translation tasks, and the TED M2O task. The results demonstrate that CoNMT effectively improves overall translation quality and reliably handles diverse inputs.
• Abstract（参考訳）: ニューラルマシン翻訳(NMT)は、高品質な翻訳を製作することに成功した。 しかし、現在のnmtシステムは、入力の語彙的または構文的変化によってしばしば影響を受ける出力が品質のばらつきをもたらすため、信頼性の欠如に悩まされている。 この制限はNMTの実用性と信頼性を妨げる。 この問題に寄与する要因は、1対1のパラダイムで訓練されたnmtモデルがソース多様性現象を扱うのに苦労していることである。 本研究では,この問題を二段階最適化問題として扱い,モデルに依存しないメタラーニング(MAML)アルゴリズムから得られた一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 特に、CAML(CoNMT)を用いたNMTモデルは、まず外側ループで意味的に等価な文の一貫したメタ表現を学習する。 その後、メタ表現から出力文へのマッピングが内部ループで学習され、NMTモデルは意味論的に等価な文を同じターゲット文に変換する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。 その結果,CoNMTは翻訳品質を効果的に向上し,多様な入力を確実に処理できることがわかった。

関連論文リスト

• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• An Empirical study of Unsupervised Neural Machine Translation: analyzing NMT output, model's behavior and sentences' contribution [5.691028372215281]
  Unsupervised Neural Machine Translation (UNMT) は、人間の翻訳された並列データがないと仮定して、NMTの結果を改善することに焦点を当てている。 私たちは、フランス語、グジャラーティ、カザフ語という3つの非常に多様な言語に焦点を合わせ、バイリンガルなNMTモデルを英語から英語に訓練し、様々なレベルの監督を行っている。
  論文  参考訳（メタデータ） (2023-12-19T20:35:08Z)
• Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding [73.32763904267186]
  大きな言語モデル(LLM)は、優れた翻訳品質を達成する可能性を示す。 我々は,NMTシステムを事前翻訳モデルとして扱うCooperative Decoding(CoDec)と,MT指向LLMを補足解として提案する。
  論文  参考訳（メタデータ） (2023-11-06T03:41:57Z)
• Integrating Pre-trained Language Model into Neural Machine Translation [0.0]
  高品質なバイリンガル言語ペアデータの欠如は、NMTの性能向上に大きな課題をもたらす。 近年,この問題を解決するために,事前学習言語モデル(PLM)の文脈情報の利用が検討されている。 本研究では PLM 統合 NMT モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-30T16:00:13Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Exploiting Language Relatedness in Machine Translation Through Domain Adaptation Techniques [3.257358540764261]
  文のスケール化類似度スコアを,特に5グラムのKenLM言語モデルに基づく関連言語に適用する手法を提案する。 提案手法は, マルチドメインアプローチでは2 BLEU点, NMTでは3 BLEU点, 反復的バックトランスレーションアプローチでは2 BLEU点の増加に成功している。
  論文  参考訳（メタデータ） (2023-03-03T09:07:30Z)
• Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation [72.6667341525552]
  本稿では,ニューラルアダプターとガイド付き自己注意機構を用いた,強いテキストのみのMTモデルに基づく新しいMT手法を提案する。 また,不明瞭な文とその翻訳が可能なコントラスト型多モーダル翻訳評価セットであるCoMMuTEについても紹介する。 提案手法は, 標準英語-フランス語, 英語-ドイツ語, 英語-チェコ語のベンチマークにおいて, 強いテキストのみのモデルと比較して, 競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2022-12-20T10:18:18Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Prevent the Language Model from being Overconfident in Neural Machine Translation [21.203435303812043]
  本稿では,MTO(Margin-based Objective)とMSO(Margin-based Sentence Level Objective)を提案する。 WMT14英語-ドイツ語、WMT19中国語-英語、WMT14英語-フランス語翻訳タスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2021-05-24T05:34:09Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。