論文の概要: ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for
Non-Autoregressive Machine Translation
- arxiv url: http://arxiv.org/abs/2210.03999v1
- Date: Sat, 8 Oct 2022 11:39:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 16:37:24.612848
- Title: ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for
Non-Autoregressive Machine Translation
- Title（参考訳）: ngram-OAXE:非自己回帰機械翻訳のためのフレーズベース順序非依存的クロスエントロピー
- Authors: Cunxiao Du and Zhaopeng Tu and Longyue Wang and Jing Jiang
- Abstract要約: オートレグレッシブ翻訳(NAT)におけるマルチモーダリティの効果を改善できる新しい訓練用Oaxe損失が証明された
我々は、ngram 句間の並べ替えのみを許し、句内の単語順序の厳密な一致をいまだ必要とすることで oaxe を拡張する。
さらに分析したところ、ngram-oaxeは実際にngram句の翻訳を改善し、文構造をより良くモデル化してより流動的な翻訳を生成することがわかった。
- 参考スコア（独自算出の注目度）: 51.06378042344563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, a new training oaxe loss has proven effective to ameliorate the
effect of multimodality for non-autoregressive translation (NAT), which removes
the penalty of word order errors in the standard cross-entropy loss. Starting
from the intuition that reordering generally occurs between phrases, we extend
oaxe by only allowing reordering between ngram phrases and still requiring a
strict match of word order within the phrases. Extensive experiments on NAT
benchmarks across language pairs and data scales demonstrate the effectiveness
and universality of our approach. %Further analyses show that the proposed
ngram-oaxe alleviates the multimodality problem with a better modeling of
phrase translation. Further analyses show that ngram-oaxe indeed improves the
translation of ngram phrases, and produces more fluent translation with a
better modeling of sentence structure.
- Abstract（参考訳）: 近年,非自己回帰翻訳(NAT)におけるマルチモーダリティの効果を向上し,標準的なクロスエントロピー損失における語順誤りのペナルティを除去する訓練が試みられている。
フレーズ間の再順序付けが一般的に起こる直観から始め、我々は、ngram句間の再順序付けを許すだけでoaxeを拡張し、フレーズ内の単語順序の厳密な一致を依然として要求する。
言語ペアとデータスケールにわたるNATベンチマークに関する大規模な実験は、我々のアプローチの有効性と普遍性を示している。
%解析の結果,ngram-oaxe はフレーズ翻訳のモデル化が容易なマルチモダリティ問題を緩和することがわかった。
さらなる分析により、ngram-oaxeはngram句の翻訳を実際に改善し、文構造をよりよくモデル化してより流動的な翻訳を生成することが示された。
関連論文リスト
- An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。
ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文 参考訳（メタデータ） (2024-03-30T15:29:49Z) - Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive
Machine Translation [18.205288788056787]
非自己回帰翻訳(NAT)は、復号遅延を低減させるが、マルチモード問題による性能劣化に悩まされる。
本稿では,グラフ内のすべての経路が参照文とファジィに一致しているという見解を保持する。
正確なアライメントは必要ありませんが、グラフと参照の間のファジィアライメントスコアを最大化するためにモデルをトレーニングします。
論文 参考訳（メタデータ） (2023-03-12T13:51:38Z) - Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
ソースの文脈化表現に分類を導入する。
主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。
MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
論文 参考訳（メタデータ） (2022-10-13T04:07:08Z) - DEEP: DEnoising Entity Pre-training for Neural Machine Translation [123.6686940355937]
機械翻訳モデルは通常、トレーニングコーパスで稀な名前付きエンティティの翻訳を貧弱に生成することが示されている。
文中の名前付きエンティティ翻訳精度を向上させるために,大量のモノリンガルデータと知識ベースを利用するDenoising Entity Pre-training法であるDEEPを提案する。
論文 参考訳（メタデータ） (2021-11-14T17:28:09Z) - Monotonic Simultaneous Translation with Chunk-wise Reordering and
Refinement [38.89496608319392]
本稿では,全文翻訳コーパスの目的側を並べ替え,洗練するアルゴリズムを提案する。
ソースとターゲットの文間の単語/フレーズは、単語アライメントと非自己回帰型ニューラルマシン翻訳を用いて、主に単調に配列される。
提案手法はBLEUのスコアを改良し,結果の翻訳により文の単調性が向上する。
論文 参考訳（メタデータ） (2021-10-18T22:51:21Z) - Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation [28.800695682918757]
非自己回帰的翻訳(NAT)モデルに対して、注文非依存的クロスエントロピー(OaXE)と呼ばれる新たなトレーニング目標を提案する。
OaXEは、モデル予測とターゲットトークンの最適なアライメントに基づいて、クロスエントロピー損失を計算する。
主要なWMTベンチマークの実験により、OaXEは翻訳性能を大幅に改善することが示された。
論文 参考訳（メタデータ） (2021-06-09T14:15:12Z) - Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in
Non-Autoregressive Translation [98.11249019844281]
知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。
低周波対象語に対するアライメントを向上するために,逆KDを提案する。
その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2021-06-02T02:41:40Z) - Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。
WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
論文 参考訳（メタデータ） (2021-04-24T07:33:23Z) - On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。
条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。
提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
論文 参考訳（メタデータ） (2020-10-10T07:00:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。