論文の概要: N-Gram Nearest Neighbor Machine Translation

• arxiv url: http://arxiv.org/abs/2301.12866v1
• Date: Mon, 30 Jan 2023 13:19:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 14:52:38.873097
• Title: N-Gram Nearest Neighbor Machine Translation
• Title（参考訳）: N-Gram 近傍機械翻訳
• Authors: Rui Lv, Junliang Guo, Rui Wang, Xu Tan, Qi Liu, Tao Qin
• Abstract要約: 本稿では, 自己回帰翻訳(AT)モデルと非自己回帰翻訳(NAT)モデルの両方に適用可能な, モデルに依存しない新しいn$-gram近傍検索手法を提案する。 提案手法は,ATモデルおよびNATモデルおよび一般のドメイン適応翻訳タスクにおいて,トークンレベル法を一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 101.25243884801183
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Nearest neighbor machine translation augments the Autoregressive Translation~(AT) with $k$-nearest-neighbor retrieval, by comparing the similarity between the token-level context representations of the target tokens in the query and the datastore. However, the token-level representation may introduce noise when translating ambiguous words, or fail to provide accurate retrieval results when the representation generated by the model contains indistinguishable context information, e.g., Non-Autoregressive Translation~(NAT) models. In this paper, we propose a novel $n$-gram nearest neighbor retrieval method that is model agnostic and applicable to both AT and NAT models. Specifically, we concatenate the adjacent $n$-gram hidden representations as the key, while the tuple of corresponding target tokens is the value. In inference, we propose tailored decoding algorithms for AT and NAT models respectively. We demonstrate that the proposed method consistently outperforms the token-level method on both AT and NAT models as well on general as on domain adaptation translation tasks. On domain adaptation, the proposed method brings $1.03$ and $2.76$ improvements regarding the average BLEU score on AT and NAT models respectively.
• Abstract（参考訳）: 近隣の機械翻訳は、クエリ内のターゲットトークンのトークンレベルのコンテキスト表現とデータストアの類似性を比較することで、$k$-nearest-neighbor検索でAutoregressive Translation~(AT)を増強する。 しかし、トークンレベルの表現は曖昧な単語を翻訳する場合にノイズを発生させるか、モデルによって生成された表現が区別できない文脈情報を含む場合、例えば非自己回帰翻訳~(nat)モデルを含む場合、正確な検索結果を提供することができない。 本稿では,atモデルとnatモデルの両方に適用可能な,モデルに依存しない新しいn$-gram近傍探索法を提案する。 具体的には、隣接する$n$-gramの隠れ表現をキーとし、対応するターゲットトークンのタプルを値とします。 推論では,それぞれatモデルとnatモデルのための最適化復号アルゴリズムを提案する。 提案手法は,ATモデルおよびNATモデルおよびドメイン適応変換タスクにおいて,トークンレベル法よりも一貫して優れていることを示す。 ドメイン適応では、提案手法はatモデルとnatモデルの平均bleuスコアに関してそれぞれ1.03$と2.76$の改善をもたらす。

関連論文リスト

• Chunk-based Nearest Neighbor Machine Translation [7.747003493657217]
  我々は、単一のトークンではなく、データストアからトークンの塊を検索する、テクスチャンクベースの$k$NN-MTモデルを導入する。 静的ドメイン適応とオンザフライ適応という2つの設定による機械翻訳の実験は、チャンクベースのモデルが、翻訳品質をわずかに低下させるだけで、大幅なスピードアップ(最大4倍)につながることを示している。
  論文  参考訳（メタデータ） (2022-05-24T17:39:25Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• MvSR-NAT: Multi-view Subset Regularization for Non-Autoregressive Machine Translation [0.5586191108738562]
  条件付きマスク付き言語モデル(CMLM)は、非自己回帰型機械翻訳(NAT)において顕著な進歩を示している。 NATモデルの性能向上のための新しい正規化手法であるMulti-view Subset Regularization (MvSR)を導入する。 我々は従来のNATモデルよりも0.36-1.14 BLEUが向上した3つの公開ベンチマークで顕著な性能を達成した。
  論文  参考訳（メタデータ） (2021-08-19T02:30:38Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Nearest Neighbor Machine Translation [113.96357168879548]
  我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。 キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。 多くの設定で一貫してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-01T22:24:46Z)
• Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation [188.3605563567253]
  非自己回帰翻訳(NAT)は高速な推論速度を実現するが、自己回帰翻訳(AT)と比較して精度が悪くなる 本稿では、中間タスクとして半自己回帰翻訳(SAT)を導入し、ATとNATを特殊なケースとして扱う。 我々は、k を 1 から N に段階的にシフトさせるカリキュラムスケジュールを設計する。 IWSLT14 De-En, IWSLT16 En-De, WMT14 En-De, De-Enデータセットの実験により、TCL-NATは以前のNATベースラインよりも大幅に精度が向上したことが示された。
  論文  参考訳（メタデータ） (2020-07-17T06:06:54Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。