論文の概要: Nearest Neighbor Machine Translation
- arxiv url: http://arxiv.org/abs/2010.00710v2
- Date: Thu, 22 Jul 2021 14:44:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 08:11:42.296195
- Title: Nearest Neighbor Machine Translation
- Title(参考訳): 最寄りの機械翻訳
- Authors: Urvashi Khandelwal, Angela Fan, Dan Jurafsky, Luke Zettlemoyer, Mike
Lewis
- Abstract要約: 我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。
キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。
多くの設定で一貫してパフォーマンスが向上する。
- 参考スコア(独自算出の注目度): 113.96357168879548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce $k$-nearest-neighbor machine translation ($k$NN-MT), which
predicts tokens with a nearest neighbor classifier over a large datastore of
cached examples, using representations from a neural translation model for
similarity search. This approach requires no additional training and scales to
give the decoder direct access to billions of examples at test time, resulting
in a highly expressive model that consistently improves performance across many
settings. Simply adding nearest neighbor search improves a state-of-the-art
German-English translation model by 1.5 BLEU. $k$NN-MT allows a single model to
be adapted to diverse domains by using a domain-specific datastore, improving
results by an average of 9.2 BLEU over zero-shot transfer, and achieving new
state-of-the-art results -- without training on these domains. A massively
multilingual model can also be specialized for particular language pairs, with
improvements of 3 BLEU for translating from English into German and Chinese.
Qualitatively, $k$NN-MT is easily interpretable; it combines source and target
context to retrieve highly relevant examples.
- Abstract(参考訳): これは、類似性検索のためにニューラルネットワークの翻訳モデルからの表現を使用して、キャッシュされたサンプルの大規模なデータストア上で、最も近い隣接の分類器でトークンを予測します。
このアプローチでは、デコーダがテスト時に数十億のサンプルに直接アクセスできるようにするために、追加のトレーニングやスケールを必要としない。
近接探索を追加するだけで、1.5BLEUによる最先端のドイツ語翻訳モデルが改善される。
$k$NN-MTにより、ドメイン固有のデータストアを使用することで、単一のモデルをさまざまなドメインに適合させ、ゼロショット転送よりも平均9.2 BLEUで結果を改善し、これらのドメインをトレーニングすることなく、新たな最先端結果を達成することができる。
膨大な多言語モデルも特定の言語ペアに特化でき、英語からドイツ語と中国語に翻訳するための3つのBLEUの改良がある。
質的には$k$NN-MTは容易に解釈可能であり、ソースとターゲットコンテキストを組み合わせて、非常に関連性の高い例を検索する。
関連論文リスト
- Simple and Scalable Nearest Neighbor Machine Translation [11.996135740547897]
$k$NN-MTは、高速なドメイン適応のための強力なアプローチである。
簡便でスケーラブルな近接機械翻訳フレームワークを提案する。
提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
論文 参考訳(メタデータ) (2023-02-23T17:28:29Z) - Better Datastore, Better Translation: Generating Datastores from
Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。
本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
論文 参考訳(メタデータ) (2022-12-17T08:34:20Z) - Chunk-based Nearest Neighbor Machine Translation [7.747003493657217]
我々は、単一のトークンではなく、データストアからトークンの塊を検索する、テクスチャンクベースの$k$NN-MTモデルを導入する。
静的ドメイン適応とオンザフライ適応という2つの設定による機械翻訳の実験は、チャンクベースのモデルが、翻訳品質をわずかに低下させるだけで、大幅なスピードアップ(最大4倍)につながることを示している。
論文 参考訳(メタデータ) (2022-05-24T17:39:25Z) - Non-Parametric Unsupervised Domain Adaptation for Neural Machine
Translation [61.27321597981737]
$k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。
対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-14T11:50:01Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - Pre-training Multilingual Neural Machine Translation by Leveraging
Alignment Information [72.2412707779571]
mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。
我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
論文 参考訳(メタデータ) (2020-10-07T03:57:54Z) - Improving Massively Multilingual Neural Machine Translation and
Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。
我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。
未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文 参考訳(メタデータ) (2020-04-24T17:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。