論文の概要: AligNART: Non-autoregressive Neural Machine Translation by Jointly Learning to Estimate Alignment and Translate

• arxiv url: http://arxiv.org/abs/2109.06481v1
• Date: Tue, 14 Sep 2021 07:26:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:57:39.285051
• Title: AligNART: Non-autoregressive Neural Machine Translation by Jointly Learning to Estimate Alignment and Translate
• Title（参考訳）: AligNART: 予測アライメントと翻訳を併用した非自己回帰型ニューラルマシン翻訳
• Authors: Jongyoon Song, Sungwon Kim, and Sungroh Yoon
• Abstract要約: AligNARTは、アライメント情報を使用して、ターゲット分布のモダリティを低減する。 AligNARTは、シーケンスレベルの知識蒸留がなくてもトークン繰り返しの問題に効果的に対処する。
• 参考スコア（独自算出の注目度）: 20.980671405042756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive neural machine translation (NART) models suffer from the multi-modality problem which causes translation inconsistency such as token repetition. Most recent approaches have attempted to solve this problem by implicitly modeling dependencies between outputs. In this paper, we introduce AligNART, which leverages full alignment information to explicitly reduce the modality of the target distribution. AligNART divides the machine translation task into $(i)$ alignment estimation and $(ii)$ translation with aligned decoder inputs, guiding the decoder to focus on simplified one-to-one translation. To alleviate the alignment estimation problem, we further propose a novel alignment decomposition method. Our experiments show that AligNART outperforms previous non-iterative NART models that focus on explicit modality reduction on WMT14 En$\leftrightarrow$De and WMT16 Ro$\rightarrow$En. Furthermore, AligNART achieves BLEU scores comparable to those of the state-of-the-art connectionist temporal classification based models on WMT14 En$\leftrightarrow$De. We also observe that AligNART effectively addresses the token repetition problem even without sequence-level knowledge distillation.
• Abstract（参考訳）: 非自己回帰型ニューラルネットワーク翻訳(NART)モデルは、トークン繰り返しのような翻訳の不整合を引き起こす多モード問題に悩まされる。 最近のアプローチでは、出力間の依存関係を暗黙的にモデル化することでこの問題を解決しようとしている。 本稿では,全アライメント情報を利用して目標分布のモダリティを明示的に低減するAligNARTを紹介する。 AligNARTは機械翻訳タスクを$に分割する (i)$アライメント推定と$ (ii) 整列デコーダ入力による$の翻訳で、デコーダは単純化された1対1の翻訳に集中するように誘導する。 さらに,アライメント推定問題を解決するために,新しいアライメント分解法を提案する。 実験の結果、AligNARTはWMT14 En$\leftrightarrow$De と WMT16 Ro$\rightarrow$En の明示的なモダリティ削減に焦点を当てた従来の非定性NARTモデルよりも優れていた。 さらに、AligNARTは、WMT14 En$\leftrightarrow$Deに基づく最先端のコネクショナリスト時間分類モデルに匹敵するBLEUスコアを達成している。 また、AligNARTは、シーケンスレベルの知識蒸留を必要とせずに、トークン反復問題に効果的に対処する。

関連論文リスト

• Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation [18.205288788056787]
  非自己回帰翻訳(NAT)は、復号遅延を低減させるが、マルチモード問題による性能劣化に悩まされる。 本稿では,グラフ内のすべての経路が参照文とファジィに一致しているという見解を保持する。 正確なアライメントは必要ありませんが、グラフと参照の間のファジィアライメントスコアを最大化するためにモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-03-12T13:51:38Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• Non-Autoregressive Neural Machine Translation: A Call for Clarity [3.1447111126465]
  我々は、非自己回帰的翻訳モデルを改善するために提案されたいくつかの手法を再検討する。 我々は,長文予測やCTCに基づくアーキテクチャ変種を用いて,強力なベースラインを確立するための新たな洞察を提供する。 4つの翻訳タスクに対してsareBLEUを用いて,標準化されたBLEU,chrF++,TERスコアをコントリビュートする。
  論文  参考訳（メタデータ） (2022-05-21T12:15:22Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information [14.671424999873812]
  ソース文と文脈文のコア参照に基づく新しいデータ拡張とコントラスト学習方式であるCorefCLを提案する。 コンテキスト文で検出されたコア参照の言及を自動的に破損させることで、CorefCLはコア参照の不整合に敏感なモデルをトレーニングすることができる。 実験では,英語・ドイツ語・韓国語タスクの比較モデルのBLEUを一貫して改善した。
  論文  参考訳（メタデータ） (2021-09-13T05:18:47Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。