論文の概要: Modeling Future Cost for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2002.12558v1
• Date: Fri, 28 Feb 2020 05:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 02:13:41.922725
• Title: Modeling Future Cost for Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳の将来コストのモデル化
• Authors: Chaoqun Duan, Kehai Chen, Rui Wang, Masao Utiyama, Eiichiro Sumita, Conghui Zhu and Tiejun Zhao
• Abstract要約: 提案手法は,NTTシステムにおける各目標語の将来コストをモデル化するための簡易かつ効率的な手法である。 提案手法は強力なTransformerベースのNMTベースラインよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 62.427034890537676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing neural machine translation (NMT) systems utilize sequence-to-sequence neural networks to generate target translation word by word, and then make the generated word at each time-step and the counterpart in the references as consistent as possible. However, the trained translation model tends to focus on ensuring the accuracy of the generated target word at the current time-step and does not consider its future cost which means the expected cost of generating the subsequent target translation (i.e., the next target word). To respond to this issue, we propose a simple and effective method to model the future cost of each target word for NMT systems. In detail, a time-dependent future cost is estimated based on the current generated target word and its contextual information to boost the training of the NMT model. Furthermore, the learned future context representation at the current time-step is used to help the generation of the next target word in the decoding. Experimental results on three widely-used translation datasets, including the WMT14 German-to-English, WMT14 English-to-French, and WMT17 Chinese-to-English, show that the proposed approach achieves significant improvements over strong Transformer-based NMT baseline.
• Abstract（参考訳）: 既存のニューラルマシン翻訳(NMT)システムは、シーケンスからシーケンスまでのニューラルネットワークを使用して、単語ごとにターゲット翻訳語を生成し、生成した単語を時間ステップ毎に生成し、参照中の単語を可能な限り一貫させる。 しかし、訓練された翻訳モデルは、現在のタイミングで生成された目標単語の精度を保証することに重点を置いており、その後の目標単語(すなわち次の目標単語)を生成するための期待コストである将来のコストを考慮していない。 この問題に対応するため,nmtシステムにおいて,各単語の将来コストを簡易かつ効果的にモデル化する手法を提案する。 詳細は、現在の生成対象語とその文脈情報に基づいて時間依存の将来のコストを推定し、NMTモデルのトレーニングを促進する。 さらに、現在の時間ステップにおける学習された将来の文脈表現を用いて、デコード中の次のターゲットワードの生成を支援する。 wmt14、wmt14、wmt14、wmt17の3つの翻訳データセットの実験結果は、提案手法が強いトランスフォーマーベースのnmtベースラインよりも大幅に改善されていることを示している。

関連論文リスト

• Language Model is a Branch Predictor for Simultaneous Machine Translation [73.82754138171587]
  翻訳遅延を低減するため,SiMTタスクに分岐予測手法を組み込むことを提案する。 言語モデルを分岐予測器として利用し,潜在的な分岐方向を予測する。 実際のソース語が予測されたソース語から逸脱すると、実際のソース語を使用して出力を復号し、予測された出力を置き換える。
  論文  参考訳（メタデータ） (2023-12-22T07:32:47Z)
• Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
  Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。 本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
  論文  参考訳（メタデータ） (2022-12-17T08:34:20Z)
• Learning Domain Specific Language Models for Automatic Speech Recognition through Machine Translation [0.0]
  我々は、タスク固有のテキストデータの翻訳を最初に取得するために、中間ステップとしてNeural Machine Translationを使用します。 我々はNMTビームサーチグラフから単語混乱ネットワークを導出する手法を開発した。 NMT混在ネットワークは、n-gramと繰り返しニューラルネットワークLMの両方の難易度を低減するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-21T10:29:20Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Self-supervised and Supervised Joint Training for Resource-rich Machine Translation [30.502625878505732]
  テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している 我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:35:40Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。