論文の概要: Non-autoregressive Machine Translation with Probabilistic Context-free Grammar

• arxiv url: http://arxiv.org/abs/2311.07941v1
• Date: Tue, 14 Nov 2023 06:39:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 15:17:05.569834
• Title: Non-autoregressive Machine Translation with Probabilistic Context-free Grammar
• Title（参考訳）: 確率的文脈自由文法を用いた非自己回帰機械翻訳
• Authors: Shangtong Gui, Chenze Shao, Zhengrui Ma, Xishan Zhang, Yunji Chen, Yang Feng
• Abstract要約: 非自己回帰変換器(NAT)は、ニューラルマシン翻訳の推論を著しく加速する。 我々は,PCFG-NATを提案する。PCFG (Probabilistic Context-Free Grammar) は,複雑な依存関係を捕捉するNATモデルの能力を高めるために,特別に設計された確率的文脈自由文法(PCFG)を利用する。
• 参考スコア（独自算出の注目度）: 30.423141482617957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive Transformer(NAT) significantly accelerates the inference of neural machine translation. However, conventional NAT models suffer from limited expression power and performance degradation compared to autoregressive (AT) models due to the assumption of conditional independence among target tokens. To address these limitations, we propose a novel approach called PCFG-NAT, which leverages a specially designed Probabilistic Context-Free Grammar (PCFG) to enhance the ability of NAT models to capture complex dependencies among output tokens. Experimental results on major machine translation benchmarks demonstrate that PCFG-NAT further narrows the gap in translation quality between NAT and AT models. Moreover, PCFG-NAT facilitates a deeper understanding of the generated sentences, addressing the lack of satisfactory explainability in neural machine translation.Code is publicly available at https://github.com/ictnlp/PCFG-NAT.
• Abstract（参考訳）: 非自己回帰変換器(NAT)は、ニューラルマシン翻訳の推論を著しく加速する。 しかし,従来のNATモデルは,目標トークン間の条件独立性を前提とした自己回帰(AT)モデルと比較して,表現力や性能劣化に悩まされている。 これらの制約に対処するために,PCFG-NATと呼ばれる新しい手法を提案する。この手法は,PCFG(Probabilistic Context-Free Grammar)を特別に設計し,NATモデルが出力トークン間の複雑な依存関係をキャプチャする能力を高める。 機械翻訳ベンチマーク実験の結果,PCFG-NATはNATモデルとATモデル間の翻訳品質のギャップをさらに狭めることが示された。 さらに、PCFG-NATは生成された文の理解を深め、ニューラルマシン翻訳における十分な説明責任の欠如に対処する。

関連論文リスト

• Revisiting Non-Autoregressive Translation at Scale [76.93869248715664]
  スケーリングが非自己回帰翻訳(NAT)行動に与える影響を系統的に研究する。 我々は、NATモデルの一般的な弱さを緩和し、結果として翻訳性能が向上することを示した。 我々は、スケールされたデータセット上でスケールされたNATモデルを検証することで、新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-05-25T15:22:47Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Non-Autoregressive Document-Level Machine Translation [35.48195990457836]
  非自己回帰翻訳(NAT)モデルは、自己回帰翻訳(AT)モデルと比較して、同等の性能と優れた速度を達成する。 しかし、それらの能力は文書レベルの機械翻訳(MT)では探索されていない。 本稿では,ソースとターゲット間の文アライメントの簡易かつ効果的な設計を提案する。
  論文  参考訳（メタデータ） (2023-05-22T09:59:59Z)
• Rephrasing the Reference for Non-Autoregressive Machine Translation [37.816198073720614]
  非自己回帰型ニューラルマシン翻訳(NAT)モデルは、ソース文の複数の可能な翻訳が存在する可能性があるというマルチモーダリティの問題に悩まされる。 我々は、NAT出力に従って参照文をリフレッシュすることで、NATのためのより良いトレーニングターゲットを提供するためのリフレッサーを導入する。 我々の最良の変種は、推論の14.7倍の効率で、自動回帰変換器に匹敵する性能を実現しています。
  論文  参考訳（メタデータ） (2022-11-30T10:05:03Z)
• On the Learning of Non-Autoregressive Transformers [91.34196047466904]
  非自己回帰変換器(Non-autoregressive Transformer、NAT)は、テキスト生成モデルのファミリーである。 NAT学習の課題を明らかにするため,理論的および経験的分析を行った。
  論文  参考訳（メタデータ） (2022-06-13T08:42:09Z)
• Directed Acyclic Transformer for Non-Autoregressive Machine Translation [93.31114105366461]
  Directed Acyclic Transfomer (DA-Transformer) は、DAG (Directed Acyclic Graph) の隠れ状態を表す。 DA-Transformerは、平均して約3 BLEUで以前のNATよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-05-16T06:02:29Z)
• Sequence-Level Training for Non-Autoregressive Neural Machine Translation [33.17341980163439]
  非自己回帰ニューラルネットワーク変換(NAT)は自己回帰機構を取り除き、大幅なデコード高速化を実現する。 本研究では,NATの出力を全体として評価し,実際の翻訳品質とよく相関するNATモデルをトレーニングするためのシーケンスレベルのトレーニング目標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T13:30:09Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)
• Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade [47.97977478431973]
  NAT(Fullly non-autoregressive neural Machine Translation)は、ニューラルネットワークのシングルフォワードでトークンを同時に予測する手法である。 この作業では、レイテンシのアドバンテージを維持しながら、パフォーマンスのギャップを縮めることを目標としています。
  論文  参考訳（メタデータ） (2020-12-31T18:52:59Z)
• Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation [188.3605563567253]
  非自己回帰翻訳(NAT)は高速な推論速度を実現するが、自己回帰翻訳(AT)と比較して精度が悪くなる 本稿では、中間タスクとして半自己回帰翻訳(SAT)を導入し、ATとNATを特殊なケースとして扱う。 我々は、k を 1 から N に段階的にシフトさせるカリキュラムスケジュールを設計する。 IWSLT14 De-En, IWSLT16 En-De, WMT14 En-De, De-Enデータセットの実験により、TCL-NATは以前のNATベースラインよりも大幅に精度が向上したことが示された。
  論文  参考訳（メタデータ） (2020-07-17T06:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。