論文の概要: Simply Trainable Nearest Neighbour Machine Translation with GPU Inference

• arxiv url: http://arxiv.org/abs/2407.19965v2
• Date: Mon, 19 Aug 2024 08:48:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 01:49:20.516293
• Title: Simply Trainable Nearest Neighbour Machine Translation with GPU Inference
• Title（参考訳）: GPU推論による簡単な訓練可能な近距離機械翻訳
• Authors: Hossam Amer, Abdelrahman Abouelenin, Mohamed Maher, Evram Narouz, Mohamed Afify, Hany Awadallah,
• Abstract要約: 本稿では,GPU上での訓練可能な近接機械翻訳を提案する。 まず、入力文毎に小さなデータストアを適応的に構築する。 第2に、knnMTと事前学習結果の適応のために単層ネットワークをトレーニングし、異なるドメインで自動的に補間する。
• 参考スコア（独自算出の注目度）: 2.3420045370973828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nearest neighbor machine translation is a successful approach for fast domain adaption, which interpolates the pre-trained transformers with domain-specific token-level k-nearest-neighbor (kNN) retrieval without retraining. Despite kNN MT's success, searching large reference corpus and fixed interpolation between the kNN and pre-trained model led to computational complexity and translation quality challenges. Among other papers, Dai et al. proposed methods to obtain a small number of reference samples dynamically for which they introduced a distance-aware interpolation method using an equation that includes free parameters. This paper proposes a simply trainable nearest neighbor machine translation and carry out inference experiments on GPU. Similar to Dai et al., we first adaptively construct a small datastore for each input sentence. Second, we train a single-layer network for the interpolation coefficient between the knnMT and pre-trained result to automatically interpolate in different domains. Experimental results on different domains show that our proposed method either improves or sometimes maintain the translation quality of methods in Dai et al. while being automatic. In addition, our GPU inference results demonstrate that knnMT can be integrated into GPUs with a drop of only 5% in terms of speed.
• Abstract（参考訳）: 最も近い隣の機械翻訳は高速なドメイン適応のためのアプローチであり、事前訓練されたトランスフォーマーとドメイン固有のトークンレベルのk-nearest-neighbor(kNN)検索をリトレーニングせずに補間する。 kNN MTの成功にもかかわらず、大規模な参照コーパスの探索と、kNNと事前訓練されたモデル間の固定補間は、計算複雑性と翻訳品質の課題を引き起こした。 論文の中で、Daiらは少数の参照サンプルを動的に取得する方法を提案し、自由パラメータを含む方程式を用いた距離認識補間法を導入した。 本稿では、簡単に訓練可能な近接機械翻訳を提案し、GPU上で推論実験を行う。 Dai et al と同様、まず入力文ごとに小さなデータストアを適応的に構築する。 第2に、knnMTと事前学習結果との間の補間係数を1層ネットワークでトレーニングし、異なる領域で自動的に補間する。 異なる領域における実験結果から,提案手法は自動でダイなどの手法の翻訳品質を向上させるか,あるいは維持することが示された。 さらに、GPU推論の結果から、knnMTをGPUに組み込むことができ、速度の面では5%の低下しか見られないことが示されている。

関連論文リスト

• Towards Faster k-Nearest-Neighbor Machine Translation [56.66038663128903]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
  kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。 我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
  論文  参考訳（メタデータ） (2023-06-10T08:39:16Z)
• Simple and Scalable Nearest Neighbor Machine Translation [11.996135740547897]
  $k$NN-MTは、高速なドメイン適応のための強力なアプローチである。 簡便でスケーラブルな近接機械翻訳フレームワークを提案する。 提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-23T17:28:29Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Message Passing Descent for Efficient Machine Learning [4.416484585765027]
  機械学習におけるbfデータフィッティング(DF)問題に対する反復最適化手法を提案する。 このアプローチは、df問題のbfグラフィカルモデル表現に依存している。 本稿では,モデルDF関数の多項式表現に依存する bf Message Passage Descent アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-16T12:22:54Z)
• Nearest Neighbor Machine Translation [113.96357168879548]
  我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。 キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。 多くの設定で一貫してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-01T22:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。