論文の概要: Chunk-based Nearest Neighbor Machine Translation
- arxiv url: http://arxiv.org/abs/2205.12230v1
- Date: Tue, 24 May 2022 17:39:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 16:09:01.753345
- Title: Chunk-based Nearest Neighbor Machine Translation
- Title（参考訳）: チャンクに基づく最近近傍機械翻訳
- Authors: Pedro Henrique Martins and Zita Marinho and Andr\'e F. T. Martins
- Abstract要約: 我々は、単一のトークンではなく、データストアからトークンの塊を検索する、テクスチャンクベースの$k$NN-MTモデルを導入する。
静的ドメイン適応とオンザフライ適応という2つの設定による機械翻訳の実験は、チャンクベースのモデルが、翻訳品質をわずかに低下させるだけで、大幅なスピードアップ(最大4倍)につながることを示している。
- 参考スコア（独自算出の注目度）: 7.747003493657217
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-parametric models, which augment generation with retrieval, have led to
impressive results in language modeling and machine translation, due to their
ability to leverage information retrieved from a datastore of examples. One of
the most prominent approaches, $k$NN-MT, has an outstanding performance on
domain adaptation by retrieving tokens from a domain-specific datastore
\citep{khandelwal2020nearest}. However, $k$NN-MT requires retrieval for every
single generated token, leading to a very low decoding speed (around 8 times
slower than a parametric model). In this paper, we introduce a
\textit{chunk-based} $k$NN-MT model which retrieves chunks of tokens from the
datastore, instead of a single token. We propose several strategies for
incorporating the retrieved chunks into the generation process, and for
selecting the steps at which the model needs to search for neighbors in the
datastore. Experiments on machine translation in two settings, static domain
adaptation and ``on-the-fly'' adaptation, show that the chunk-based $k$NN-MT
model leads to a significant speed-up (up to 4 times) with only a small drop in
translation quality.
- Abstract（参考訳）: 半パラメトリックモデルは、検索によって生成を増強し、サンプルデータストアから取得した情報を活用する能力により、言語モデリングと機械翻訳において印象的な結果をもたらしている。
最も顕著なアプローチの1つである$k$NN-MTは、ドメイン固有のデータストア \citep{khandelwal2020nearest} からトークンを取得することで、ドメイン適応に優れたパフォーマンスを持つ。
しかし、$k$nn-mtは生成されたトークン毎の検索を必要とし、非常に低い復号速度(パラメトリックモデルより約8倍遅い)となる。
本稿では,単一トークンではなく,データストアからトークンの塊を抽出する,textit{chunk-based} $k$NN-MTモデルを提案する。
抽出されたチャンクを生成プロセスに組み込むためのいくつかの戦略を提案し、モデルがデータストア内の隣人を探すために必要なステップを選択する。
静的なドメイン適応と‘オン・ザ・フライ’適応の2つの環境での機械翻訳実験では、チャンクベースの$k$nn-mtモデルが翻訳品質の小さな低下で大幅な高速化(最大4倍)をもたらすことが示されている。
関連論文リスト
- Simple and Scalable Nearest Neighbor Machine Translation [11.996135740547897]
$k$NN-MTは、高速なドメイン適応のための強力なアプローチである。
簡便でスケーラブルな近接機械翻訳フレームワークを提案する。
提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
論文 参考訳（メタデータ） (2023-02-23T17:28:29Z) - N-Gram Nearest Neighbor Machine Translation [101.25243884801183]
本稿では, 自己回帰翻訳(AT)モデルと非自己回帰翻訳(NAT)モデルの両方に適用可能な, モデルに依存しない新しいn$-gram近傍検索手法を提案する。
提案手法は,ATモデルおよびNATモデルおよび一般のドメイン適応翻訳タスクにおいて,トークンレベル法を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2023-01-30T13:19:19Z) - Better Datastore, Better Translation: Generating Datastores from
Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。
本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
論文 参考訳（メタデータ） (2022-12-17T08:34:20Z) - Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval [129.25914272977542]
RetoMatonはデータストア上に構築された重み付き有限オートマトンである。
LM推論と並行して、このオートマトンを推論時にトラバースすることは、その複雑さを減少させる。
論文 参考訳（メタデータ） (2022-01-28T21:38:56Z) - Non-Parametric Unsupervised Domain Adaptation for Neural Machine
Translation [61.27321597981737]
$k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。
対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-14T11:50:01Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳（メタデータ） (2021-06-10T10:18:23Z) - Nearest Neighbor Machine Translation [113.96357168879548]
我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。
キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。
多くの設定で一貫してパフォーマンスが向上する。
論文 参考訳（メタデータ） (2020-10-01T22:24:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。