論文の概要: Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation

• arxiv url: http://arxiv.org/abs/2106.05093v1
• Date: Wed, 9 Jun 2021 14:15:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:33:58.532819
• Title: Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
• Title（参考訳）: 非自己回帰機械翻訳における順序非依存クロスエントロピー
• Authors: Cunxiao Du and Zhaopeng Tu and Jing Jiang
• Abstract要約: 非自己回帰的翻訳(NAT)モデルに対して、注文非依存的クロスエントロピー(OaXE)と呼ばれる新たなトレーニング目標を提案する。 OaXEは、モデル予測とターゲットトークンの最適なアライメントに基づいて、クロスエントロピー損失を計算する。 主要なWMTベンチマークの実験により、OaXEは翻訳性能を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 28.800695682918757
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a new training objective named order-agnostic cross entropy (OaXE) for fully non-autoregressive translation (NAT) models. OaXE improves the standard cross-entropy loss to ameliorate the effect of word reordering, which is a common source of the critical multimodality problem in NAT. Concretely, OaXE removes the penalty for word order errors, and computes the cross entropy loss based on the best possible alignment between model predictions and target tokens. Since the log loss is very sensitive to invalid references, we leverage cross entropy initialization and loss truncation to ensure the model focuses on a good part of the search space. Extensive experiments on major WMT benchmarks show that OaXE substantially improves translation performance, setting new state of the art for fully NAT models. Further analyses show that OaXE alleviates the multimodality problem by reducing token repetitions and increasing prediction confidence. Our code, data, and trained models are available at https://github.com/tencent-ailab/ICML21_OAXE.
• Abstract（参考訳）: 完全非自己回帰型翻訳(NAT)モデルに対して,注文非依存型クロスエントロピー(OaXE)という新たなトレーニング目標を提案する。 OaXEは標準的なクロスエントロピー損失を改善して単語の並べ替えの効果を改善する。 具体的には、OaXEは単語順序誤差のペナルティを除去し、モデル予測とターゲットトークンの最適な一致に基づいてクロスエントロピー損失を算出する。 ログ損失は、不正な参照に対して非常に敏感であるため、クロスエントロピー初期化とロストランケーションを利用して、モデルが検索空間のよい部分にフォーカスすることを保証する。 大規模なWMTベンチマーク実験により、OaXEは翻訳性能を大幅に改善し、完全なNATモデルのための新しい技術状態が設定された。 さらに分析した結果、OaXEはトークンの繰り返しを減らし、予測信頼度を増大させることで、マルチモーダリティ問題を緩和することを示した。 私たちのコード、データ、トレーニングされたモデルはhttps://github.com/tencent-ailab/ICML21_OAXE.comで利用可能です。

関連論文リスト

• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Revisiting Non-Autoregressive Translation at Scale [76.93869248715664]
  スケーリングが非自己回帰翻訳(NAT)行動に与える影響を系統的に研究する。 我々は、NATモデルの一般的な弱さを緩和し、結果として翻訳性能が向上することを示した。 我々は、スケールされたデータセット上でスケールされたNATモデルを検証することで、新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-05-25T15:22:47Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation [18.205288788056787]
  非自己回帰翻訳(NAT)は、復号遅延を低減させるが、マルチモード問題による性能劣化に悩まされる。 本稿では,グラフ内のすべての経路が参照文とファジィに一致しているという見解を保持する。 正確なアライメントは必要ありませんが、グラフと参照の間のファジィアライメントスコアを最大化するためにモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-03-12T13:51:38Z)
• ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation [51.06378042344563]
  オートレグレッシブ翻訳(NAT)におけるマルチモーダリティの効果を改善できる新しい訓練用Oaxe損失が証明された 我々は、ngram 句間の並べ替えのみを許し、句内の単語順序の厳密な一致をいまだ必要とすることで oaxe を拡張する。 さらに分析したところ、ngram-oaxeは実際にngram句の翻訳を改善し、文構造をより良くモデル化してより流動的な翻訳を生成することがわかった。
  論文  参考訳（メタデータ） (2022-10-08T11:39:15Z)
• ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization [80.90206641975375]
  本稿では,正規化によるGNNの性能向上に焦点をあてる。 グラフ中のノード次数の長期分布を調べることにより、GNNの新しい正規化法を提案する。 ResNormの$scale$操作は、尾ノードの精度を向上させるために、ノード単位の標準偏差(NStd)分布を再設定する。
  論文  参考訳（メタデータ） (2022-06-16T13:49:09Z)
• Sequence-Level Training for Non-Autoregressive Neural Machine Translation [33.17341980163439]
  非自己回帰ニューラルネットワーク変換(NAT)は自己回帰機構を取り除き、大幅なデコード高速化を実現する。 本研究では,NATの出力を全体として評価し,実際の翻訳品質とよく相関するNATモデルをトレーニングするためのシーケンスレベルのトレーニング目標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T13:30:09Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Aligned Cross Entropy for Non-Autoregressive Machine Translation [120.15069387374717]
  非自己回帰モデルの学習における代替的損失関数としてアライメントクロスエントロピー(AXE)を提案する。 AXEに基づく条件付きマスキング言語モデル(CMLM)のトレーニングは、主要なWMTベンチマークの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T16:24:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。