論文の概要: Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation

• arxiv url: http://arxiv.org/abs/2210.03953v1
• Date: Sat, 8 Oct 2022 07:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 16:26:28.313608
• Title: Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation
• Title（参考訳）: CTCに基づく非自己回帰機械翻訳のための非単調遅延アライメント
• Authors: Chenze Shao and Yang Feng
• Abstract要約: 非自己回帰翻訳(NAT)モデルは一般的にクロスエントロピー損失で訓練される。 ラテントアライメントモデルは、CTC損失とともに全ての単調ラテントアライメントを疎外することにより、明示的なアライメントを緩和する。 我々はアライメント空間を非単調アライメントに拡張し、大域的な単語の並べ替えを可能にする。
• 参考スコア（独自算出の注目度）: 15.309573393914462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive translation (NAT) models are typically trained with the cross-entropy loss, which forces the model outputs to be aligned verbatim with the target sentence and will highly penalize small shifts in word positions. Latent alignment models relax the explicit alignment by marginalizing out all monotonic latent alignments with the CTC loss. However, they cannot handle non-monotonic alignments, which is non-negligible as there is typically global word reordering in machine translation. In this work, we explore non-monotonic latent alignments for NAT. We extend the alignment space to non-monotonic alignments to allow for the global word reordering and further consider all alignments that overlap with the target sentence. We non-monotonically match the alignments to the target sentence and train the latent alignment model to maximize the F1 score of non-monotonic matching. Extensive experiments on major WMT benchmarks show that our method substantially improves the translation performance of CTC-based models. Our best model achieves 30.06 BLEU on WMT14 En-De with only one-iteration decoding, closing the gap between non-autoregressive and autoregressive models.
• Abstract（参考訳）: 非自己回帰翻訳(NAT)モデルは、典型的にはクロスエントロピー損失(英語版)で訓練され、これはモデル出力を目標文と垂直に調整し、単語位置の小さなシフトを高度に罰する。 ラテントアライメントモデルは、CTC損失とともに全ての単調ラテントアライメントを疎外することにより、明示的なアライメントを緩和する。 しかし、機械翻訳において一般的にグローバルな単語の並べ替えがあるため、非単調なアライメントを扱うことはできない。 本研究ではNATの非単調遅延アライメントについて検討する。 我々は、アライメント空間を非単調アライメントに拡張し、大域的な単語の並べ替えを可能にし、ターゲット文と重なるすべてのアライメントについて検討する。 対象文へのアライメントを非単調に一致させ、非単調マッチングのf1スコアを最大化するために潜在アライメントモデルを訓練する。 大規模なWMTベンチマーク実験により,提案手法はCTCモデルにおける翻訳性能を大幅に向上させることが示された。 最善のモデルはwmt14 en-de上で30.06 bleuを達成し,非自己回帰モデルと自己回帰モデルの間のギャップを埋める。

関連論文リスト

• Unbalanced Optimal Transport for Unbalanced Word Alignment [17.08341136230076]
  本研究は, 最適輸送(OT)ファミリー, すなわち, バランス, 部分, バランスの取れないOTは, テーラーメイド技術がなくても, 自然かつ強力なアプローチであることを示す。 教師なしおよび教師なしの設定に関する実験は,単語アライメントに特化して設計された最先端技術に対して,汎用的なOTベースのアライメント手法が競合していることを示す。
  論文  参考訳（メタデータ） (2023-06-07T03:03:41Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation [18.205288788056787]
  非自己回帰翻訳(NAT)は、復号遅延を低減させるが、マルチモード問題による性能劣化に悩まされる。 本稿では,グラフ内のすべての経路が参照文とファジィに一致しているという見解を保持する。 正確なアライメントは必要ありませんが、グラフと参照の間のファジィアライメントスコアを最大化するためにモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-03-12T13:51:38Z)
• Regotron: Regularizing the Tacotron2 architecture via monotonic alignment loss [71.30589161727967]
  我々は、トレーニング問題を緩和し、同時に単調アライメントを生成することを目的とした、Tacotron2の正規化バージョンであるRegotronを紹介する。 本手法は,バニラTacotron2目的関数を付加項で拡張し,位置感応性注意機構における非単調アライメントをペナル化する。
  論文  参考訳（メタデータ） (2022-04-28T12:08:53Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• AligNART: Non-autoregressive Neural Machine Translation by Jointly Learning to Estimate Alignment and Translate [20.980671405042756]
  AligNARTは、アライメント情報を使用して、ターゲット分布のモダリティを低減する。 AligNARTは、シーケンスレベルの知識蒸留がなくてもトークン繰り返しの問題に効果的に対処する。
  論文  参考訳（メタデータ） (2021-09-14T07:26:33Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• SLUA: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning [79.91678610678885]
  超軽量非教師付き単語アライメントモデル(SLUA)を提案する。 いくつかの公開ベンチマークによる実験結果から,我々のモデルは性能が向上しても競争力を発揮することが示された。 特に、我々のモデルはバイリンガル単語の埋め込みと単語のアライメントを統一する先駆的な試みであると認識している。
  論文  参考訳（メタデータ） (2021-02-08T05:54:11Z)
• Align-Refine: Non-Autoregressive Speech Recognition via Iterative Realignment [18.487842656780728]
  非自己回帰モデルの出力を編集することで、補充モデルと反復精製モデルがこのギャップの一部を構成する。 本稿では、出力シーケンス空間ではなく、遅延アライメント上で補正が行われる反復再配置を提案する。
  論文  参考訳（メタデータ） (2020-10-24T09:35:37Z)
• Rationalizing Text Matching: Learning Sparse Alignments via Optimal Transport [14.86310501896212]
  本研究では,この選択的合理化アプローチをテキストマッチングに拡張する。 目標は、下流の予測の正当化として、トークンや文などのテキストを共同で選択し、調整することである。 我々のアプローチでは、入力間の最小コストアライメントを見つけるために最適なトランスポート(OT)を採用している。
  論文  参考訳（メタデータ） (2020-05-27T01:20:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。