論文の概要: Integrating Vectorized Lexical Constraints for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2203.12210v1
• Date: Wed, 23 Mar 2022 05:54:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 05:17:21.383471
• Title: Integrating Vectorized Lexical Constraints for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のためのベクトル化語彙制約の統合
• Authors: Shuo Wang, Zhixing Tan, Yang Liu
• Abstract要約: 語彙制約付きニューラルネットワーク翻訳(NMT)は、あらかじめ指定された制約を持つNMTモデルの生成を制御する。 既存のほとんどの研究は、合成データを構築したり、語彙制約を課すために復号アルゴリズムを変更することを選び、NMTモデルをブラックボックスとして扱う。 我々は,制約を直接NMTモデルに統合することで,このブラックボックスを開くことを提案する。
• 参考スコア（独自算出の注目度）: 22.300632179228426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lexically constrained neural machine translation (NMT), which controls the generation of NMT models with pre-specified constraints, is important in many practical scenarios. Due to the representation gap between discrete constraints and continuous vectors in NMT models, most existing works choose to construct synthetic data or modify the decoding algorithm to impose lexical constraints, treating the NMT model as a black box. In this work, we propose to open this black box by directly integrating the constraints into NMT models. Specifically, we vectorize source and target constraints into continuous keys and values, which can be utilized by the attention modules of NMT models. The proposed integration method is based on the assumption that the correspondence between keys and values in attention modules is naturally suitable for modeling constraint pairs. Experimental results show that our method consistently outperforms several representative baselines on four language pairs, demonstrating the superiority of integrating vectorized lexical constraints.
• Abstract（参考訳）: 既定制約付きnmtモデルの生成を制御するレキシカル制約付きニューラルマシン翻訳(nmt)は,多くの実用シナリオにおいて重要である。 NMTモデルにおける離散的制約と連続ベクトルとの表現ギャップのため、既存のほとんどの研究は合成データの構築や、語彙的制約を課すための復号アルゴリズムの変更を選択し、NMTモデルをブラックボックスとして扱う。 本研究では,NMTモデルに制約を直接組み込むことにより,このブラックボックスを開放することを提案する。 具体的には、ソースとターゲットの制約を連続キーと値にベクトル化し、NMTモデルのアテンションモジュールで利用することができる。 提案手法は,注目モジュールにおけるキーと値の対応が制約ペアのモデル化に自然に適しているという仮定に基づいている。 実験結果から,提案手法は4つの言語対におけるいくつかの代表的ベースラインを一貫して上回り,ベクトル化語彙制約の統合の優位性を示す。

関連論文リスト

• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Disambiguated Lexically Constrained Neural Machine Translation [20.338107081523212]
  LCNMTへの現在のアプローチは、あらかじめ指定された語彙制約が文脈的に適切であると仮定している。 この問題を解決するために,不明瞭なLCNMT(D-LCNMT)を提案する。 D-LCNMTは堅牢で効果的な2段階のフレームワークであり、最初は文脈に基づいて制約を曖昧にし、その曖昧な制約をLCNMTに統合する。
  論文  参考訳（メタデータ） (2023-05-27T03:15:10Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• A Template-based Method for Constrained Neural Machine Translation [100.02590022551718]
  本稿では,デコード速度を維持しつつ,高い翻訳品質と精度で結果が得られるテンプレートベースの手法を提案する。 テンプレートの生成と導出は、1つのシーケンスからシーケンスまでのトレーニングフレームワークを通じて学習することができる。 実験結果から,提案手法は語彙的,構造的に制約された翻訳タスクにおいて,いくつかの代表的ベースラインを上回り得ることが示された。
  論文  参考訳（メタデータ） (2022-05-23T12:24:34Z)
• Can NMT Understand Me? Towards Perturbation-based Evaluation of NMT Models for Code Generation [1.7616042687330642]
  NMTモデルの堅牢性を検証するための重要なステップは、その性能を逆入力で評価することである。 本研究では,そのようなモデルのロバスト性評価に適した摂動と測定値のセットを同定する。 モデルにどのような摂動が最も影響を与えるかを示す予備実験を行った。
  論文  参考訳（メタデータ） (2022-03-29T08:01:39Z)
• Rule-based Morphological Inflection Improves Neural Terminology Translation [16.802947102163497]
  ニューラルMT(NMT)にレムマ制約を組み込むモジュラーフレームワークを導入する。 これは、ソースコンテキストに基づいてターゲットのレムマ制約を屈折させる新しい言語間インフレクションモジュールに基づいている。 その結果,NMTモデルがニューラルモジュールよりも正確にレムマ制約を組み込むのに有効であり,トレーニングコストの低減を図り,既存のエンドツーエンドアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-09-10T02:06:48Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Early Stage LM Integration Using Local and Global Log-Linear Combination [46.91755970827846]
  暗黙のアライメント機構を持つシーケンス対シーケンスモデル(例えば注意)は、従来のハイブリッド隠れマルコフモデル(HMM)に対するパフォーマンスギャップを埋めている。 両方のケースで単語エラー率を改善する重要な要因は、大きなテキストのみのコーパスでトレーニングされた外部言語モデル(LM)を使用することである。 暗黙アライメントに基づくシーケンス・ツー・シーケンスモデルに言語モデルを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-05-20T13:49:55Z)
• DiscreTalk: Text-to-Speech as a Machine Translation Problem [52.33785857500754]
  本稿ではニューラルマシン翻訳(NMT)に基づくエンドツーエンドテキスト音声合成(E2E-TTS)モデルを提案する。 提案モデルは,非自己回帰ベクトル量子化変分オートエンコーダ(VQ-VAE)モデルと自己回帰トランスフォーマー-NMTモデルという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2020-05-12T02:45:09Z)
• Lexically Constrained Neural Machine Translation with Levenshtein Transformer [8.831954614241234]
  本稿では,ニューラルネットワーク翻訳に語彙制約を組み込むための,単純かつ効果的なアルゴリズムを提案する。 提案手法は,デコード速度に影響を与えることなく,推論時に用語制約を注入する。
  論文  参考訳（メタデータ） (2020-04-27T09:59:27Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。