論文の概要: Context-Aware Cross-Attention for Non-Autoregressive Translation

• arxiv url: http://arxiv.org/abs/2011.00770v1
• Date: Mon, 2 Nov 2020 06:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 11:46:57.306355
• Title: Context-Aware Cross-Attention for Non-Autoregressive Translation
• Title（参考訳）: 非自己回帰的翻訳のための文脈対応クロスアテンション
• Authors: Liang Ding, Longyue Wang, Di Wu, Dacheng Tao and Zhaopeng Tu
• Abstract要約: 非自己回帰翻訳(NAT)は、ターゲットシーケンス全体を予測することによって推論プロセスを著しく加速する。 デコーダにおけるターゲット依存性モデリングの欠如により、条件生成プロセスはクロスアテンションに大きく依存する。 本稿では,近隣のソーストークンの信号を従来のクロスアテンションに拡張することを提案する。
• 参考スコア（独自算出の注目度）: 119.54611465693498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive translation (NAT) significantly accelerates the inference process by predicting the entire target sequence. However, due to the lack of target dependency modelling in the decoder, the conditional generation process heavily depends on the cross-attention. In this paper, we reveal a localness perception problem in NAT cross-attention, for which it is difficult to adequately capture source context. To alleviate this problem, we propose to enhance signals of neighbour source tokens into conventional cross-attention. Experimental results on several representative datasets show that our approach can consistently improve translation quality over strong NAT baselines. Extensive analyses demonstrate that the enhanced cross-attention achieves better exploitation of source contexts by leveraging both local and global information.
• Abstract（参考訳）: 非自己回帰翻訳(NAT)は、ターゲットシーケンス全体を予測することによって推論プロセスを著しく加速する。 しかし、デコーダにおけるターゲット依存性モデリングの欠如のため、条件付き生成プロセスはクロスアテンションに大きく依存する。 本稿では,NATの相互注意における局所性知覚の問題を明らかにする。 この問題を軽減するために,近隣のソーストークンの信号を従来のクロスアテンションに拡張することを提案する。 いくつかの代表的なデータセットに対する実験結果から,本手法は強力なNATベースラインよりも翻訳品質を継続的に向上できることが示された。 拡張されたクロスアテンションは、ローカル情報とグローバル情報の両方を活用することにより、ソースコンテキストのより良い活用を実現する。

関連論文リスト

• Revisiting Non-Autoregressive Translation at Scale [76.93869248715664]
  スケーリングが非自己回帰翻訳(NAT)行動に与える影響を系統的に研究する。 我々は、NATモデルの一般的な弱さを緩和し、結果として翻訳性能が向上することを示した。 我々は、スケールされたデータセット上でスケールされたNATモデルを検証することで、新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-05-25T15:22:47Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Shared Latent Space by Both Languages in Non-Autoregressive Neural Machine Translation [0.0]
  非自己回帰型ニューラルマシン翻訳(NAT)は自己回帰型ニューラルマシン翻訳(AT)と比較して翻訳速度が大幅に向上する 潜在変数モデリングは、この品質ギャップを埋めるための有望なアプローチとして現れています。
  論文  参考訳（メタデータ） (2023-05-02T15:33:09Z)
• Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation [18.205288788056787]
  非自己回帰翻訳(NAT)は、復号遅延を低減させるが、マルチモード問題による性能劣化に悩まされる。 本稿では,グラフ内のすべての経路が参照文とファジィに一致しているという見解を保持する。 正確なアライメントは必要ありませんが、グラフと参照の間のファジィアライメントスコアを最大化するためにモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-03-12T13:51:38Z)
• Guided Image-to-Image Translation by Discriminator-Generator Communication [71.86347329356244]
  Image-to-image (I2I) 翻訳の目標は、ソースドメインからターゲットドメインに画像を転送することである。 本研究の主な分野は,GAN(Generative Adversarial Network)に基づくI2I翻訳の定式化である。
  論文  参考訳（メタデータ） (2023-03-07T02:29:36Z)
• Zero-shot-Learning Cross-Modality Data Translation Through Mutual Information Guided Stochastic Diffusion [5.795193288204816]
  モダリティ間のデータ変換は、画像処理に大きな関心を集めている。 本稿では,MIDiffusion(Multual Information Diffusion Guided cross-modality data translation Model)という,教師なしゼロショット学習手法を提案する。 我々は,MIDiffusionの高度な性能を,有意な生成モデル群と比較して実証的に示す。
  論文  参考訳（メタデータ） (2023-01-31T16:24:34Z)
• Rephrasing the Reference for Non-Autoregressive Machine Translation [37.816198073720614]
  非自己回帰型ニューラルマシン翻訳(NAT)モデルは、ソース文の複数の可能な翻訳が存在する可能性があるというマルチモーダリティの問題に悩まされる。 我々は、NAT出力に従って参照文をリフレッシュすることで、NATのためのより良いトレーニングターゲットを提供するためのリフレッサーを導入する。 我々の最良の変種は、推論の14.7倍の効率で、自動回帰変換器に匹敵する性能を実現しています。
  論文  参考訳（メタデータ） (2022-11-30T10:05:03Z)
• ConNER: Consistency Training for Cross-lingual Named Entity Recognition [96.84391089120847]
  言語間の名前付きエンティティ認識は、対象言語のデータの不足に悩まされる。 言語間NERのための新しい一貫性トレーニングフレームワークとしてConNERを提案する。
  論文  参考訳（メタデータ） (2022-11-17T07:57:54Z)
• On the Learning of Non-Autoregressive Transformers [91.34196047466904]
  非自己回帰変換器(Non-autoregressive Transformer、NAT)は、テキスト生成モデルのファミリーである。 NAT学習の課題を明らかにするため,理論的および経験的分析を行った。
  論文  参考訳（メタデータ） (2022-06-13T08:42:09Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。