論文の概要: Simple and Scalable Nearest Neighbor Machine Translation
- arxiv url: http://arxiv.org/abs/2302.12188v1
- Date: Thu, 23 Feb 2023 17:28:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-24 14:23:38.948078
- Title: Simple and Scalable Nearest Neighbor Machine Translation
- Title（参考訳）: 単純でスケーラブルな近距離機械翻訳
- Authors: Yuhan Dai, Zhirui Zhang, Qiuzhi Liu, Qu Cui, Weihua Li, Yichao Du,
Tong Xu
- Abstract要約: $k$NN-MTは、高速なドメイン適応のための強力なアプローチである。
簡便でスケーラブルな近接機械翻訳フレームワークを提案する。
提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
- 参考スコア（独自算出の注目度）: 11.996135740547897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: $k$NN-MT is a straightforward yet powerful approach for fast domain
adaptation, which directly plugs pre-trained neural machine translation (NMT)
models with domain-specific token-level $k$-nearest-neighbor ($k$NN) retrieval
to achieve domain adaptation without retraining. Despite being conceptually
attractive, $k$NN-MT is burdened with massive storage requirements and high
computational complexity since it conducts nearest neighbor searches over the
entire reference corpus. In this paper, we propose a simple and scalable
nearest neighbor machine translation framework to drastically promote the
decoding and storage efficiency of $k$NN-based models while maintaining the
translation performance. To this end, we dynamically construct an extremely
small datastore for each input via sentence-level retrieval to avoid searching
the entire datastore in vanilla $k$NN-MT, based on which we further introduce a
distance-aware adapter to adaptively incorporate the $k$NN retrieval results
into the pre-trained NMT models. Experiments on machine translation in two
general settings, static domain adaptation and online learning, demonstrate
that our proposed approach not only achieves almost 90% speed as the NMT model
without performance degradation, but also significantly reduces the storage
requirements of $k$NN-MT.
- Abstract（参考訳）: ドメイン固有のトークンレベルの$k$-nearest-neighbor(k$NN)検索で、トレーニング済みのニューラルネットワーク翻訳(NMT)モデルを直接プラグインすることで、再トレーニングなしにドメイン適応を実現する。
概念的には魅力的だが、$k$NN-MTは、参照コーパス全体に最も近い検索を行うため、大量のストレージ要件と高い計算複雑性に悩まされている。
本稿では,翻訳性能を維持しつつ,$k$NNベースのモデルの復号化と保存効率を大幅に向上させる,シンプルでスケーラブルな近接機械翻訳フレームワークを提案する。
この目的のために、我々は、文レベルの検索によって各入力に対して非常に小さなデータストアを動的に構築し、バニラ$k$NN-MTで全データストアを検索することを回避し、さらに、学習済みNMTモデルに$k$NN検索結果を適応的に組み込むための距離対応アダプタを導入する。
静的ドメイン適応とオンライン学習という2つの一般的な条件下での機械翻訳実験により,提案手法は性能劣化のないNMTモデルで約90%の高速化を実現するだけでなく,$k$NN-MTのストレージ要求を大幅に削減することを示した。
関連論文リスト
- Efficient k-Nearest-Neighbor Machine Translation with Dynamic Retrieval [49.825549809652436]
$k$NN-MTはドメイン固有の翻訳知識を保持するために外部データストアを構築する。
適応検索(k$NN-MT-AR)は、$lambda$を動的に推定し、$lambda$が固定しきい値以下であれば$k$NN検索をスキップする。
本稿では,バニラ$k$NN-MTを大幅に拡張した動的検索(k$NN-MT-DR)を提案する。
論文 参考訳（メタデータ） (2024-06-10T07:36:55Z) - Nearest Neighbor Machine Translation is Meta-Optimizer on Output
Projection Layer [44.02848852485475]
Nearest Neighbor Machine Translation (k$NN-MT)はドメイン適応タスクで大きな成功を収めた。
理論的および実証的研究を通じて,$k$NN-MTを包括的に分析した。
論文 参考訳（メタデータ） (2023-05-22T13:38:53Z) - Better Datastore, Better Translation: Generating Datastores from
Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。
本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
論文 参考訳（メタデータ） (2022-12-17T08:34:20Z) - Chunk-based Nearest Neighbor Machine Translation [7.747003493657217]
我々は、単一のトークンではなく、データストアからトークンの塊を検索する、テクスチャンクベースの$k$NN-MTモデルを導入する。
静的ドメイン適応とオンザフライ適応という2つの設定による機械翻訳の実験は、チャンクベースのモデルが、翻訳品質をわずかに低下させるだけで、大幅なスピードアップ(最大4倍)につながることを示している。
論文 参考訳（メタデータ） (2022-05-24T17:39:25Z) - Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
論文 参考訳（メタデータ） (2022-04-13T05:46:31Z) - Non-Parametric Unsupervised Domain Adaptation for Neural Machine
Translation [61.27321597981737]
$k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。
対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-14T11:50:01Z) - Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。
従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。
ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
論文 参考訳（メタデータ） (2021-05-27T09:27:42Z) - Nearest Neighbor Machine Translation [113.96357168879548]
我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。
キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。
多くの設定で一貫してパフォーマンスが向上する。
論文 参考訳（メタデータ） (2020-10-01T22:24:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。