論文の概要: Faster Nearest Neighbor Machine Translation

• arxiv url: http://arxiv.org/abs/2112.08152v1
• Date: Wed, 15 Dec 2021 14:21:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 19:21:33.257364
• Title: Faster Nearest Neighbor Machine Translation
• Title（参考訳）: 近接機械翻訳の高速化
• Authors: Shuhe Wang, Jiwei Li, Yuxian Meng, Rongbin Ouyang, Guoyin Wang, Xiaoya Li, Tianwei Zhang, Shi Zong
• Abstract要約: k$NNベースのニューラルマシン翻訳($k$NN-MT)は、さまざまなMTタスクで最先端の結果を得た。 k$NN-MTの重大な欠点の1つは、データストア全体からクエリ表現に最も近い$k$を識別する非効率性にある。 この問題に対処するために textbfFaster $k$NN-MT を提案する。
• 参考スコア（独自算出の注目度）: 27.38186214015994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: $k$NN based neural machine translation ($k$NN-MT) has achieved state-of-the-art results in a variety of MT tasks. One significant shortcoming of $k$NN-MT lies in its inefficiency in identifying the $k$ nearest neighbors of the query representation from the entire datastore, which is prohibitively time-intensive when the datastore size is large. In this work, we propose \textbf{Faster $k$NN-MT} to address this issue. The core idea of Faster $k$NN-MT is to use a hierarchical clustering strategy to approximate the distance between the query and a data point in the datastore, which is decomposed into two parts: the distance between the query and the center of the cluster that the data point belongs to, and the distance between the data point and the cluster center. We propose practical ways to compute these two parts in a significantly faster manner. Through extensive experiments on different MT benchmarks, we show that \textbf{Faster $k$NN-MT} is faster than Fast $k$NN-MT \citep{meng2021fast} and only slightly (1.2 times) slower than its vanilla counterpart while preserving model performance as $k$NN-MT. Faster $k$NN-MT enables the deployment of $k$NN-MT models on real-world MT services.
• Abstract（参考訳）: k$NNベースのニューラルマシン翻訳($k$NN-MT)は、さまざまなMTタスクで最先端の結果を得た。 k$NN-MTの重大な欠点のひとつは、データストア全体からクエリ表現に最も近い$k$を識別する非効率性にある。 本稿では,この問題に対処するため,textbf{Faster $k$NN-MT}を提案する。 より高速な$k$nn-mtの基本的な考え方は、階層的なクラスタリング戦略を使用して、データストア内のクエリとデータポイントの間の距離を近似する。 我々は,これら2つの部品をより高速に計算する方法を提案する。 異なるMTベンチマークの広範な実験により、fast $k$NN-MTより高速で、バニラよりもわずかに(1.2倍)遅い一方、モデル性能は$k$NN-MTに保たれていることがわかった。 より高速な$k$NN-MTは、現実世界のMTサービスに$k$NN-MTモデルのデプロイを可能にする。

関連論文リスト

• Efficient k-Nearest-Neighbor Machine Translation with Dynamic Retrieval [49.825549809652436]
  $k$NN-MTはドメイン固有の翻訳知識を保持するために外部データストアを構築する。 適応検索(k$NN-MT-AR)は、$lambda$を動的に推定し、$lambda$が固定しきい値以下であれば$k$NN検索をスキップする。 本稿では,バニラ$k$NN-MTを大幅に拡張した動的検索(k$NN-MT-DR)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T07:36:55Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
  kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。 我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
  論文  参考訳（メタデータ） (2023-06-10T08:39:16Z)
• Simple and Scalable Nearest Neighbor Machine Translation [11.996135740547897]
  $k$NN-MTは、高速なドメイン適応のための強力なアプローチである。 簡便でスケーラブルな近接機械翻訳フレームワークを提案する。 提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-23T17:28:29Z)
• Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
  Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。 本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
  論文  参考訳（メタデータ） (2022-12-17T08:34:20Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Chunk-based Nearest Neighbor Machine Translation [7.747003493657217]
  我々は、単一のトークンではなく、データストアからトークンの塊を検索する、テクスチャンクベースの$k$NN-MTモデルを導入する。 静的ドメイン適応とオンザフライ適応という2つの設定による機械翻訳の実験は、チャンクベースのモデルが、翻訳品質をわずかに低下させるだけで、大幅なスピードアップ(最大4倍)につながることを示している。
  論文  参考訳（メタデータ） (2022-05-24T17:39:25Z)
• Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
  k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
  論文  参考訳（メタデータ） (2022-04-13T05:46:31Z)
• Fast Nearest Neighbor Machine Translation [30.242943649240328]
  $k$NN-MTは、近くの検索のためのデータストアとして参照コーパス全体を使用する。 Fast $k$NN-MTは、近隣の検索のためのはるかに小さなデータストアを構築する。 高速な$k$NN-MTは$k$NN-MTより2次高速で、標準のNTTモデルよりわずか2倍遅い。
  論文  参考訳（メタデータ） (2021-05-30T13:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。