論文の概要: What Have We Achieved on Non-autoregressive Translation?

• arxiv url: http://arxiv.org/abs/2405.12788v1
• Date: Tue, 21 May 2024 13:38:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 13:10:09.375553
• Title: What Have We Achieved on Non-autoregressive Translation?
• Title（参考訳）: 非自己回帰翻訳で何が達成されたのか?
• Authors: Yafu Li, Huajian Zhang, Jianhao Yan, Yongjing Yin, Yue Zhang,
• Abstract要約: 最近の進歩は、非自己回帰(NAT)翻訳を自己回帰法(AT)に匹敵するものにしている。 最近の進歩は、非自己回帰(NAT)翻訳を自己回帰法(AT)に匹敵するものにしている。
• 参考スコア（独自算出の注目度）: 26.63142045579897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances have made non-autoregressive (NAT) translation comparable to autoregressive methods (AT). However, their evaluation using BLEU has been shown to weakly correlate with human annotations. Limited research compares non-autoregressive translation and autoregressive translation comprehensively, leaving uncertainty about the true proximity of NAT to AT. To address this gap, we systematically evaluate four representative NAT methods across various dimensions, including human evaluation. Our empirical results demonstrate that despite narrowing the performance gap, state-of-the-art NAT still underperforms AT under more reliable evaluation metrics. Furthermore, we discover that explicitly modeling dependencies is crucial for generating natural language and generalizing to out-of-distribution sequences.
• Abstract（参考訳）: 近年,非自己回帰法 (NAT) 翻訳は自己回帰法 (AT) に匹敵する傾向にある。 しかし、BLEUを用いた評価は、人間のアノテーションと弱い相関関係があることが示されている。 限定的な研究は、非自己回帰翻訳と自己回帰翻訳を包括的に比較し、NATとATとの真の近接性について不確実性を残している。 このギャップに対処するために,人間の評価を含む,様々な次元にまたがる4つの代表的NAT手法を体系的に評価した。 我々の経験的結果は、パフォーマンスギャップを狭めるにもかかわらず、最先端のNATは、より信頼性の高い評価基準の下では、ATよりも性能が劣っていることを示している。 さらに, 依存関係を明示的にモデル化することは, 自然言語の生成や分布外シーケンスの一般化に不可欠であることが判明した。

関連論文リスト

• On the Information Redundancy in Non-Autoregressive Translation [82.43992805551498]
  非自己回帰翻訳(NAT)におけるマルチモーダル問題の典型例である。 本研究では,最近提案されたNATモデルにおけるマルチモーダル問題を再考する。 複数モーダリティ問題によく対応した2種類の情報冗長性誤差を同定する。
  論文  参考訳（メタデータ） (2024-05-04T14:20:28Z)
• Evaluation of Faithfulness Using the Longest Supported Subsequence [52.27522262537075]
  本稿では,文脈によって支持される請求項の最長不連続性を計算し,機械生成テキストの忠実さを評価する新しい手法を提案する。 新しい人間アノテーション付きデータセットを使用して、モデルを微調整してLongest Supported Subsequence(LSS)を生成する。 提案手法は,我々のデータセットの忠実度に対する最先端のメトリクスよりも18%向上していることを示す。
  論文  参考訳（メタデータ） (2023-08-23T14:18:44Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Non-Autoregressive Document-Level Machine Translation [35.48195990457836]
  非自己回帰翻訳(NAT)モデルは、自己回帰翻訳(AT)モデルと比較して、同等の性能と優れた速度を達成する。 しかし、それらの能力は文書レベルの機械翻訳(MT)では探索されていない。 本稿では,ソースとターゲット間の文アライメントの簡易かつ効果的な設計を提案する。
  論文  参考訳（メタデータ） (2023-05-22T09:59:59Z)
• Candidate Soups: Fusing Candidate Results Improves Translation Quality for Non-Autoregressive Translation [15.332496335303189]
  非自己回帰翻訳(NAT)モデルは、自己回帰翻訳(AT)モデルよりもはるかに高速な推論速度を達成する。 既存のNATメソッドはNATモデルの性能改善にのみフォーカスするが、完全には利用しない。 そこで我々は,高品質な翻訳を実現するための,シンプルだが効果的な手法"Candidate Soups"を提案する。
  論文  参考訳（メタデータ） (2023-01-27T02:39:42Z)
• SAFARI: Versatile and Efficient Evaluations for Robustness of Interpretability [11.230696151134367]
  ディープラーニング(DL)の解釈可能性(Interpretability of Deep Learning)は、信頼できるAIの障壁である。 XAI法を考慮すれば, DLの堅牢性を評価することが不可欠である。
  論文  参考訳（メタデータ） (2022-08-19T16:07:22Z)
• Sequence-Level Training for Non-Autoregressive Neural Machine Translation [33.17341980163439]
  非自己回帰ニューラルネットワーク変換(NAT)は自己回帰機構を取り除き、大幅なデコード高速化を実現する。 本研究では,NATの出力を全体として評価し,実際の翻訳品質とよく相関するNATモデルをトレーニングするためのシーケンスレベルのトレーニング目標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T13:30:09Z)
• Progressive Multi-Granularity Training for Non-Autoregressive Translation [98.11249019844281]
  非自己回帰翻訳(NAT)は、ターゲットシーケンス全体を予測することで推論プロセスを著しく加速する。 近年の研究では、NATは1対多翻訳のような高度な知識の学習に弱いことが示されている。 モードは様々な粒度に分けることができ、そこから容易に学習できると我々は主張する。
  論文  参考訳（メタデータ） (2021-06-10T07:16:07Z)
• Understanding and Improving Lexical Choice in Non-Autoregressive Translation [98.11249019844281]
  低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。 提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
  論文  参考訳（メタデータ） (2020-12-29T03:18:50Z)
• Context-Aware Cross-Attention for Non-Autoregressive Translation [119.54611465693498]
  非自己回帰翻訳(NAT)は、ターゲットシーケンス全体を予測することによって推論プロセスを著しく加速する。 デコーダにおけるターゲット依存性モデリングの欠如により、条件生成プロセスはクロスアテンションに大きく依存する。 本稿では,近隣のソーストークンの信号を従来のクロスアテンションに拡張することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T06:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。