論文の概要: Efficient k-Nearest-Neighbor Machine Translation with Dynamic Retrieval

• arxiv url: http://arxiv.org/abs/2406.06073v1
• Date: Mon, 10 Jun 2024 07:36:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:37:02.579093
• Title: Efficient k-Nearest-Neighbor Machine Translation with Dynamic Retrieval
• Title（参考訳）: 動的検索による効率的なk-Nearest-Neighbor機械翻訳
• Authors: Yan Gao, Zhiwei Cao, Zhongjian Miao, Baosong Yang, Shiyu Liu, Min Zhang, Jinsong Su,
• Abstract要約: $k$NN-MTはドメイン固有の翻訳知識を保持するために外部データストアを構築する。 適応検索(k$NN-MT-AR)は、$lambda$を動的に推定し、$lambda$が固定しきい値以下であれば$k$NN検索をスキップする。 本稿では,バニラ$k$NN-MTを大幅に拡張した動的検索(k$NN-MT-DR)を提案する。
• 参考スコア（独自算出の注目度）: 49.825549809652436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To achieve non-parametric NMT domain adaptation, $k$-Nearest-Neighbor Machine Translation ($k$NN-MT) constructs an external datastore to store domain-specific translation knowledge, which derives a $k$NN distribution to interpolate the prediction distribution of the NMT model via a linear interpolation coefficient $\lambda$. Despite its success, $k$NN retrieval at each timestep leads to substantial time overhead. To address this issue, dominant studies resort to $k$NN-MT with adaptive retrieval ($k$NN-MT-AR), which dynamically estimates $\lambda$ and skips $k$NN retrieval if $\lambda$ is less than a fixed threshold. Unfortunately, $k$NN-MT-AR does not yield satisfactory results. In this paper, we first conduct a preliminary study to reveal two key limitations of $k$NN-MT-AR: 1) the optimization gap leads to inaccurate estimation of $\lambda$ for determining $k$NN retrieval skipping, and 2) using a fixed threshold fails to accommodate the dynamic demands for $k$NN retrieval at different timesteps. To mitigate these limitations, we then propose $k$NN-MT with dynamic retrieval ($k$NN-MT-DR) that significantly extends vanilla $k$NN-MT in two aspects. Firstly, we equip $k$NN-MT with a MLP-based classifier for determining whether to skip $k$NN retrieval at each timestep. Particularly, we explore several carefully-designed scalar features to fully exert the potential of the classifier. Secondly, we propose a timestep-aware threshold adjustment method to dynamically generate the threshold, which further improves the efficiency of our model. Experimental results on the widely-used datasets demonstrate the effectiveness and generality of our model.\footnote{Our code is available at \url{https://github.com/DeepLearnXMU/knn-mt-dr}.
• Abstract（参考訳）: 非パラメトリックNMTドメイン適応を実現するために、$k$-Nearest-Neighbor Machine Translation$k$NN-MT)は、ドメイン固有の翻訳知識を保存するために外部データストアを構築し、$k$NNディストリビューションを導出し、線形補間係数$\lambda$を介してNMTモデルの予測分布を補間する。 その成功にもかかわらず、各時点における$k$NNの検索は、かなりの時間的オーバーヘッドをもたらす。 この問題に対処するために、支配的な研究は、適応検索付き$k$NN-MT(k$NN-MT-AR)を利用し、$\lambda$を動的に推定し、$\lambda$が固定しきい値以下であれば$k$NN検索をスキップする。 残念なことに$k$NN-MT-ARは満足な結果を出さない。 本稿では,まず,$k$NN-MT-ARの2つの重要な限界を明らかにするための予備的研究を行う。 1)最適化ギャップは、$k$NN検索スキップを決定するために$\lambda$の不正確な推定につながる。 2) 固定しきい値の使用は、異なる時間ステップで$k$NN検索の動的要求を満たすのに失敗する。 これらの制限を緩和するため、動的検索(k$NN-MT-DR)を備えた$k$NN-MTを提案し、バニラ$k$NN-MTを2つの面で大幅に拡張する。 まず,MLPをベースとした分類器に$k$NN-MTを装備し,各時刻に$k$NN検索をスキップするかどうかを判定する。 特に,分類器の潜在能力を十分に発揮するために,慎重に設計されたスカラー特徴について検討する。 次に,そのしきい値を動的に生成する時間ステップ対応しきい値調整手法を提案する。 広範に利用されているデータセットの実験結果から,本モデルの有効性と汎用性を示す。 \footnote{Our code is available at \url{https://github.com/DeepLearnXMU/knn-mt-dr}.

関連論文リスト

• Exploiting Pre-trained Models for Drug Target Affinity Prediction with Nearest Neighbors [58.661454334877256]
  薬物-標的結合親和性(DTA)予測は、薬物発見に不可欠である。 DTA予測へのディープラーニング手法の適用にもかかわらず、達成された精度は依然として準最適である。 事前学習したDTA予測モデルに適用した非表現埋め込みに基づく検索手法である$k$NN-DTAを提案する。
  論文  参考訳（メタデータ） (2024-07-21T15:49:05Z)
• INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
  kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。 我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
  論文  参考訳（メタデータ） (2023-06-10T08:39:16Z)
• Simple and Scalable Nearest Neighbor Machine Translation [11.996135740547897]
  $k$NN-MTは、高速なドメイン適応のための強力なアプローチである。 簡便でスケーラブルな近接機械翻訳フレームワークを提案する。 提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-23T17:28:29Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)
• Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
  近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T07:43:39Z)
• Faster Nearest Neighbor Machine Translation [27.38186214015994]
  k$NNベースのニューラルマシン翻訳($k$NN-MT)は、さまざまなMTタスクで最先端の結果を得た。 k$NN-MTの重大な欠点の1つは、データストア全体からクエリ表現に最も近い$k$を識別する非効率性にある。 この問題に対処するために textbfFaster $k$NN-MT を提案する。
  論文  参考訳（メタデータ） (2021-12-15T14:21:26Z)
• Fast Nearest Neighbor Machine Translation [30.242943649240328]
  $k$NN-MTは、近くの検索のためのデータストアとして参照コーパス全体を使用する。 Fast $k$NN-MTは、近隣の検索のためのはるかに小さなデータストアを構築する。 高速な$k$NN-MTは$k$NN-MTより2次高速で、標準のNTTモデルよりわずか2倍遅い。
  論文  参考訳（メタデータ） (2021-05-30T13:10:32Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。