論文の概要: Rephrasing the Reference for Non-Autoregressive Machine Translation

• arxiv url: http://arxiv.org/abs/2211.16863v1
• Date: Wed, 30 Nov 2022 10:05:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 16:49:31.604851
• Title: Rephrasing the Reference for Non-Autoregressive Machine Translation
• Title（参考訳）: 非自己回帰機械翻訳における参照の再現
• Authors: Chenze Shao, Jinchao Zhang, Jie Zhou, Yang Feng
• Abstract要約: 非自己回帰型ニューラルマシン翻訳(NAT)モデルは、ソース文の複数の可能な翻訳が存在する可能性があるというマルチモーダリティの問題に悩まされる。 我々は、NAT出力に従って参照文をリフレッシュすることで、NATのためのより良いトレーニングターゲットを提供するためのリフレッサーを導入する。 我々の最良の変種は、推論の14.7倍の効率で、自動回帰変換器に匹敵する性能を実現しています。
• 参考スコア（独自算出の注目度）: 37.816198073720614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive neural machine translation (NAT) models suffer from the multi-modality problem that there may exist multiple possible translations of a source sentence, so the reference sentence may be inappropriate for the training when the NAT output is closer to other translations. In response to this problem, we introduce a rephraser to provide a better training target for NAT by rephrasing the reference sentence according to the NAT output. As we train NAT based on the rephraser output rather than the reference sentence, the rephraser output should fit well with the NAT output and not deviate too far from the reference, which can be quantified as reward functions and optimized by reinforcement learning. Experiments on major WMT benchmarks and NAT baselines show that our approach consistently improves the translation quality of NAT. Specifically, our best variant achieves comparable performance to the autoregressive Transformer, while being 14.7 times more efficient in inference.
• Abstract（参考訳）: 非自己回帰型ニューラルマシン翻訳(NAT)モデルは、ソース文の複数の翻訳が可能な多モード問題に悩まされるため、NAT出力が他の翻訳に近づくと、基準文がトレーニングに不適切になる可能性がある。 この問題に対して,NAT出力に従って参照文をリフレッシュすることで,NATのためのより良いトレーニングターゲットを提供するリフレッサーを導入する。 参照文ではなく、リフレサ出力に基づいてNATを訓練するので、リフレサ出力はNAT出力とうまく適合し、基準からあまり離れておらず、報酬関数として定量化でき、強化学習によって最適化される。 主要なWMTベンチマークとNATベースラインの実験は、我々のアプローチがNATの翻訳品質を継続的に改善していることを示している。 具体的には、我々の最良の変種は、推論において14.7倍の効率で自動回帰変換器に匹敵する性能を達成する。

関連論文リスト

• Revisiting Non-Autoregressive Translation at Scale [76.93869248715664]
  スケーリングが非自己回帰翻訳(NAT)行動に与える影響を系統的に研究する。 我々は、NATモデルの一般的な弱さを緩和し、結果として翻訳性能が向上することを示した。 我々は、スケールされたデータセット上でスケールされたNATモデルを検証することで、新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-05-25T15:22:47Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer [15.616188012177538]
  非自己回帰型ニューラルネットワーク翻訳(NAT)モデルは、比較的高い性能を維持しつつ、推論プロセスを加速するために提案される。 既存のNATモデルは、望ましい効率品質のトレードオフを達成するのは難しい。 高い効率と効率性を持つフレキシブルなフレームワークであるRenewNATを提案する。
  論文  参考訳（メタデータ） (2023-03-14T07:10:03Z)
• One Reference Is Not Enough: Diverse Distillation with Reference Selection for Non-Autoregressive Translation [13.223158914896727]
  非自己回帰型ニューラルネットワーク翻訳(NAT)は多モード問題に悩まされる。 そこで本研究では,NATのためのDDRSを用いた多種多様な蒸留法を提案する。 DDRS は WMT14 En-De 上の1つの復号パスで 29.82 BLEU を達成し、NAT の最先端性能を 1 BLEU 以上向上させた。
  論文  参考訳（メタデータ） (2022-05-28T04:59:33Z)
• Directed Acyclic Transformer for Non-Autoregressive Machine Translation [93.31114105366461]
  Directed Acyclic Transfomer (DA-Transformer) は、DAG (Directed Acyclic Graph) の隠れ状態を表す。 DA-Transformerは、平均して約3 BLEUで以前のNATよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-05-16T06:02:29Z)
• Sequence-Level Training for Non-Autoregressive Neural Machine Translation [33.17341980163439]
  非自己回帰ニューラルネットワーク変換(NAT)は自己回帰機構を取り除き、大幅なデコード高速化を実現する。 本研究では,NATの出力を全体として評価し,実際の翻訳品質とよく相関するNATモデルをトレーニングするためのシーケンスレベルのトレーニング目標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T13:30:09Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)
• Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade [47.97977478431973]
  NAT(Fullly non-autoregressive neural Machine Translation)は、ニューラルネットワークのシングルフォワードでトークンを同時に予測する手法である。 この作業では、レイテンシのアドバンテージを維持しながら、パフォーマンスのギャップを縮めることを目標としています。
  論文  参考訳（メタデータ） (2020-12-31T18:52:59Z)
• Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation [32.77372312124259]
  非自己回帰機械翻訳(NAT)モデルでは推論速度が著しく向上しているが、翻訳精度は劣っている。 本稿では,自動回帰機械翻訳の知識をエンコーダの共有を通じてNATモデルに伝達するマルチタスク学習を提案する。 WMT14英語-ドイツ語とWMT16英語-ルーマニアのデータセットの実験結果は、提案されたマルチタスクNATがベースラインNATモデルよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2020-10-24T11:00:58Z)
• Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation [188.3605563567253]
  非自己回帰翻訳(NAT)は高速な推論速度を実現するが、自己回帰翻訳(AT)と比較して精度が悪くなる 本稿では、中間タスクとして半自己回帰翻訳(SAT)を導入し、ATとNATを特殊なケースとして扱う。 我々は、k を 1 から N に段階的にシフトさせるカリキュラムスケジュールを設計する。 IWSLT14 De-En, IWSLT16 En-De, WMT14 En-De, De-Enデータセットの実験により、TCL-NATは以前のNATベースラインよりも大幅に精度が向上したことが示された。
  論文  参考訳（メタデータ） (2020-07-17T06:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。