論文の概要: End-to-End Neural Word Alignment Outperforms GIZA++

• arxiv url: http://arxiv.org/abs/2004.14675v1
• Date: Thu, 30 Apr 2020 10:29:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:15:51.145057
• Title: End-to-End Neural Word Alignment Outperforms GIZA++
• Title（参考訳）: 終端から終端までのニューラルワードアライメントがGIZA++より優れている
• Authors: Thomas Zenkel, Joern Wuebker and John DeNero
• Abstract要約: 本稿では、3つのデータセット上でGIZA++を一貫して上回る最初のエンドツーエンドのニューラルワードアライメント手法を提案する。 提案手法では,教師あり翻訳のために訓練されたトランスフォーマーモデルを再利用し,教師なし単語アライメントモデルとして機能させる。
• 参考スコア（独自算出の注目度）: 9.631882592490376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word alignment was once a core unsupervised learning task in natural language processing because of its essential role in training statistical machine translation (MT) models. Although unnecessary for training neural MT models, word alignment still plays an important role in interactive applications of neural machine translation, such as annotation transfer and lexicon injection. While statistical MT methods have been replaced by neural approaches with superior performance, the twenty-year-old GIZA++ toolkit remains a key component of state-of-the-art word alignment systems. Prior work on neural word alignment has only been able to outperform GIZA++ by using its output during training. We present the first end-to-end neural word alignment method that consistently outperforms GIZA++ on three data sets. Our approach repurposes a Transformer model trained for supervised translation to also serve as an unsupervised word alignment model in a manner that is tightly integrated and does not affect translation quality.
• Abstract（参考訳）: 単語アライメントは、統計機械翻訳(MT)モデルの訓練において重要な役割を担っているため、自然言語処理における中核的な教師なし学習課題であった。 ニューラルMTモデルのトレーニングには必要ないが、アノテーション転送やレキシコン注入といったニューラルマシン翻訳のインタラクティブな応用において、ワードアライメントは依然として重要な役割を担っている。 統計的mtメソッドは優れたパフォーマンスを持つニューラルネットワークに置き換えられているが、giza++ツールキットは最先端の単語アライメントシステムの主要なコンポーネントであり続けている。 ニューラルワードアライメントに関する以前の研究は、トレーニング中にその出力を使用することで、GIZA++よりも優れていた。 3つのデータセットでgiza++を一貫して上回る,最初のエンドツーエンドのニューラルワードアライメント手法を提案する。 本手法は,教師付き翻訳用に訓練されたトランスフォーマーモデルを用いて,教師なし単語アライメントモデルとして,密に統合され,翻訳品質に影響を与えない手法である。

関連論文リスト

• Code-Switching with Word Senses for Pretraining in Neural Machine Translation [107.23743153715799]
  ニューラルネットワーク翻訳のための単語センス事前学習(WSP-NMT)について紹介する。 WSP-NMTは、知識ベースからの単語感覚情報を活用した多言語NMTモデルの事前学習のためのエンドツーエンドアプローチである。 実験の結果,全体の翻訳品質が大幅に向上した。
  論文  参考訳（メタデータ） (2023-10-21T16:13:01Z)
• Active Learning for Neural Machine Translation [0.0]
  NMTツールキットのJoey NMTにActive Learningと呼ばれるテクニックを組み込んで、低リソース言語翻訳の十分な精度と堅牢な予測を行った。 この研究は、トランスフォーマーベースのNMTシステム、ベースラインモデル(BM)、フルトレーニングモデル(FTM)、アクティブラーニング最小信頼ベースモデル(ALLCM)、アクティブラーニングマージンサンプリングベースモデル(ALMSM)を用いて、英語をヒンディー語に翻訳する。
  論文  参考訳（メタデータ） (2022-12-30T17:04:01Z)
• Word Alignment in the Era of Deep Learning: A Tutorial [2.741266294612776]
  単語アライメントタスクは、統計機械翻訳(SMT)時代において顕著であったにもかかわらず、今日ではニッチであり、未探索である。 GIZA++は教師なしの統計的単語整合器で、驚くほど長寿命です。 ニューラルマシン翻訳(NMT)の時代に向かって、単語アライメントからの洞察が、現在のNMTに基本的な注意機構にどのように影響したかを示す。
  論文  参考訳（メタデータ） (2022-11-30T22:07:34Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer [49.897891031932545]
  Pivot-based Neural Machine Translation (NMT) は、低リソースのセットアップで一般的に使用される。 我々は、ソースターゲットデータのトレーニングを可能にするエンドツーエンドのピボットベース統合モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-27T14:49:35Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。