論文の概要: Can Latent Alignments Improve Autoregressive Machine Translation?

• arxiv url: http://arxiv.org/abs/2104.09554v1
• Date: Mon, 19 Apr 2021 18:31:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 05:16:30.611501
• Title: Can Latent Alignments Improve Autoregressive Machine Translation?
• Title（参考訳）: 潜在アライメントは自動回帰機械翻訳を改善するか?
• Authors: Adi Haviv, Lior Vassertail and Omer Levy
• Abstract要約: 潜在的アライメント目標を用いた自己回帰型機械翻訳モデルの学習の可能性を検討し,実際にこのアプローチが縮退モデルをもたらすことを観察する。 これらの実験結果に対する理論的説明を提供し,教師の強制と潜在的アライメントの目的が相容れないことを証明した。
• 参考スコア（独自算出の注目度）: 19.094030916676775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent alignment objectives such as CTC and AXE significantly improve non-autoregressive machine translation models. Can they improve autoregressive models as well? We explore the possibility of training autoregressive machine translation models with latent alignment objectives, and observe that, in practice, this approach results in degenerate models. We provide a theoretical explanation for these empirical results, and prove that latent alignment objectives are incompatible with teacher forcing.
• Abstract（参考訳）: CTCやAXEのような遅延アライメント目的は非自己回帰機械翻訳モデルを大幅に改善する。 自己回帰モデルも改善できるのでしょうか? 潜在的アライメント目標を用いた自己回帰型機械翻訳モデルの学習の可能性を検討し,実際にこのアプローチが縮退モデルをもたらすことを観察する。 これらの実験結果に対する理論的説明を提供し,教師の強制と潜在的アライメントの目的が相容れないことを証明した。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation [15.309573393914462]
  非自己回帰翻訳(NAT)モデルは一般的にクロスエントロピー損失で訓練される。 ラテントアライメントモデルは、CTC損失とともに全ての単調ラテントアライメントを疎外することにより、明示的なアライメントを緩和する。 我々はアライメント空間を非単調アライメントに拡張し、大域的な単語の並べ替えを可能にする。
  論文  参考訳（メタデータ） (2022-10-08T07:44:28Z)
• Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
  本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。 実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-03-21T14:12:34Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation [78.51887060865273]
  単層自己回帰デコーダは、推論速度に匹敵する強い非自己回帰モデルよりも大幅に優れていることを示す。 本研究は,高速かつ高精度な機械翻訳研究のための新しいプロトコルを構築した。
  論文  参考訳（メタデータ） (2020-06-18T09:06:49Z)
• ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation [56.59824570139266]
  我々は、非自己回帰機械翻訳モデルを訓練し、前回帰モデルで定義されるエネルギーを最小限に抑える。 我々のアプローチは、IT 2014 DE-ENとWMT 2016 RO-WSLENデータセットの最先端の非自己回帰結果を達成する。
  論文  参考訳（メタデータ） (2020-05-02T15:06:47Z)
• Aligned Cross Entropy for Non-Autoregressive Machine Translation [120.15069387374717]
  非自己回帰モデルの学習における代替的損失関数としてアライメントクロスエントロピー(AXE)を提案する。 AXEに基づく条件付きマスキング言語モデル(CMLM)のトレーニングは、主要なWMTベンチマークの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T16:24:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。