論文の概要: Adaptive Nearest Neighbor Machine Translation

• arxiv url: http://arxiv.org/abs/2105.13022v1
• Date: Thu, 27 May 2021 09:27:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 16:26:05.937688
• Title: Adaptive Nearest Neighbor Machine Translation
• Title（参考訳）: Adaptive Nearest Neighbor Machine Translation
• Authors: Xin Zheng, Zhirui Zhang, Junliang Guo, Shujian Huang, Boxing Chen, Weihua Luo and Jiajun Chen
• Abstract要約: kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
• 参考スコア（独自算出の注目度）: 60.97183408140499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: kNN-MT, recently proposed by Khandelwal et al. (2020a), successfully combines pre-trained neural machine translation (NMT) model with token-level k-nearest-neighbor (kNN) retrieval to improve the translation accuracy. However, the traditional kNN algorithm used in kNN-MT simply retrieves a same number of nearest neighbors for each target token, which may cause prediction errors when the retrieved neighbors include noises. In this paper, we propose Adaptive kNN-MT to dynamically determine the number of k for each target token. We achieve this by introducing a light-weight Meta-k Network, which can be efficiently trained with only a few training samples. On four benchmark machine translation datasets, we demonstrate that the proposed method is able to effectively filter out the noises in retrieval results and significantly outperforms the vanilla kNN-MT model. Even more noteworthy is that the Meta-k Network learned on one domain could be directly applied to other domains and obtain consistent improvements, illustrating the generality of our method. Our implementation is open-sourced at https://github.com/zhengxxn/adaptive-knn-mt.
• Abstract（参考訳）: kNN-MT - Khandelwalらによって最近提案された。 (2020a)は、学習済みニューラルネットワーク翻訳(NMT)モデルとトークンレベルのk-nearest-neighbor(kNN)検索をうまく組み合わせ、翻訳精度を向上させる。 しかし、kNN-MTで使用される従来のkNNアルゴリズムは、ターゲットトークン毎に同じ数の近接した隣人を検索するだけで、取得した隣人がノイズを含む場合に予測エラーを引き起こす可能性がある。 本稿では,ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。 我々は,少量のトレーニングサンプルで効率的にトレーニングできる軽量なメタkネットワークを導入することで,これを実現する。 4つのベンチマーク機械翻訳データセットにおいて,提案手法が検索結果のノイズを効果的に除去し,vanilla knn-mtモデルを大きく上回ることを示す。 さらに注目すべきは、あるドメインで学習したMeta-kネットワークが、他のドメインに直接適用され、一貫した改善が得られ、メソッドの汎用性を示すことである。 私たちの実装は、https://github.com/zhengxxn/adaptive-knn-mtでオープンソースです。

関連論文リスト

• Simply Trainable Nearest Neighbour Machine Translation with GPU Inference [2.3420045370973828]
  本稿では,GPU上での訓練可能な近接機械翻訳を提案する。 まず、入力文毎に小さなデータストアを適応的に構築する。 第2に、knnMTと事前学習結果の適応のために単層ネットワークをトレーニングし、異なるドメインで自動的に補間する。
  論文  参考訳（メタデータ） (2024-07-29T12:55:40Z)
• Towards Faster k-Nearest-Neighbor Machine Translation [56.66038663128903]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
  kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。 我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
  論文  参考訳（メタデータ） (2023-06-10T08:39:16Z)
• Simple and Scalable Nearest Neighbor Machine Translation [11.996135740547897]
  $k$NN-MTは、高速なドメイン適応のための強力なアプローチである。 簡便でスケーラブルな近接機械翻訳フレームワークを提案する。 提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-23T17:28:29Z)
• Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
  近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T07:43:39Z)
• Nearest Neighbor Zero-Shot Inference [68.56747574377215]
  kNN-Promptは、言語モデル(LM)を用いたゼロショット推論のためのk-nearest neighbor (kNN)検索拡張手法である。 ファジィ動詞化器は、各分類ラベルを自然言語トークンのセットに自動的に関連付けることで、下流タスクのスパースkNN分布を利用する。 実験により,kNN-Promptはドメイン適応に有効であり,さらに,kNN検索に使用するモデルのサイズに応じて,検索のメリットが増加することが示された。
  論文  参考訳（メタデータ） (2022-05-27T07:00:59Z)
• DNNR: Differential Nearest Neighbors Regression [8.667550264279166]
  K-nearest neighbors(KNN)は、機械学習において最も早く、最も確立されたアルゴリズムの1つである。 回帰タスクでは、KNNは、多くの課題を引き起こす地区内のターゲットを平均化する。 両問題に同時に対処するDNNR(differial Nearest Neighbors Regression)を提案する。
  論文  参考訳（メタデータ） (2022-05-17T15:22:53Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• KNN Classification with One-step Computation [10.381276986079865]
  KNN分類の遅延部分を置き換える一段階計算を提案する。 提案手法を実験的に評価し,一段階のKNN分類が効率的かつ有望であることを示した。
  論文  参考訳（メタデータ） (2020-12-09T13:34:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。