論文の概要: Towards Faster k-Nearest-Neighbor Machine Translation

• arxiv url: http://arxiv.org/abs/2312.07419v2
• Date: Sat, 04 Jan 2025 10:02:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:04:55.837676
• Title: Towards Faster k-Nearest-Neighbor Machine Translation
• Title（参考訳）: k-Nearest-Neighbor機械翻訳の高速化に向けて
• Authors: Xiangyu Shi, Yunlong Liang, Jinan Xu, Yufeng Chen,
• Abstract要約: k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。 本手法は,翻訳品質をわずかに低下させることなく,kNN検索のオーバーヘッドを最大53%削減する。
• 参考スコア（独自算出の注目度）: 51.866464707284635
• License:
• Abstract: Recent works have proven the effectiveness of k-nearest-neighbor machine translation(a.k.a kNN-MT) approaches to produce remarkable improvement in cross-domain translations. However, these models suffer from heavy retrieve overhead on the entire datastore when decoding each token. We observe that during the decoding phase, about 67% to 84% of tokens are unvaried after searching over the corpus datastore, which means most of the tokens cause futile retrievals and introduce unnecessary computational costs by initiating k-nearest-neighbor searches. We consider this phenomenon is explainable in linguistics and propose a simple yet effective multi-layer perceptron (MLP) network to predict whether a token should be translated jointly by the neural machine translation model and probabilities produced by the kNN or just by the neural model. The results show that our method succeeds in reducing redundant retrieval operations and significantly reduces the overhead of kNN retrievals by up to 53% at the expense of a slight decline in translation quality. Moreover, our method could work together with all existing kNN-MT systems. This work has been accepted for publication in the jornal Advances in Artificial Intelligence and Machine Learning (ISSN: 2582-9793). The final published version can be found at DOI: https://dx.doi.org/10.54364/AAIML.2024.41111
• Abstract（参考訳）: 近年の研究では、k-nearest-neighbor 機械翻訳(kNN-MT)アプローチの有効性が証明されている。 しかしながら、これらのモデルは、各トークンをデコードする際に、データストア全体の重い取得オーバーヘッドに悩まされる。 復号段階では,コーパスデータストアを検索した時点で約67%～84%のトークンが無害であり,ほとんどのトークンが無駄な検索を引き起こし,k-nearest-neighbor検索を開始することで不要な計算コストが生じる。 我々は,この現象を言語学において説明可能であると考え,トークンがニューラルマシン翻訳モデルとkNNによって生成される確率,あるいはニューラルモデルのみで生成される確率によって共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。 その結果,翻訳品質の低下を犠牲にして,kNN検索のオーバーヘッドを最大53%削減できることがわかった。 さらに,本手法は既存のkNN-MTシステムと協調して動作する。 この研究は、Jornal Advances in Artificial Intelligence and Machine Learning (ISSN: 2582-9793)に掲載されている。 最終版はDOIで見ることができる。 https://dx.doi.org/10.54364/AAIML.2024.41111

関連論文リスト

• Simply Trainable Nearest Neighbour Machine Translation with GPU Inference [2.3420045370973828]
  本稿では,GPU上での訓練可能な近接機械翻訳を提案する。 まず、入力文毎に小さなデータストアを適応的に構築する。 第2に、knnMTと事前学習結果の適応のために単層ネットワークをトレーニングし、異なるドメインで自動的に補間する。
  論文  参考訳（メタデータ） (2024-07-29T12:55:40Z)
• knn-seq: Efficient, Extensible kNN-MT Framework [11.421689052786467]
  k-nearest-neighbor machine translation (kNN-MT)は、デコード中の翻訳例を利用して、事前訓練された機械翻訳(NMT)モデルの翻訳品質を高める。 そのサイズのため、データストアからサンプルの構築と検索の両方に計算コストがかかる。 数十億規模の大規模データストアでも効率的に動作するように設計された研究者や開発者にとって,効率的なkNN-MTフレームワークであるknn-seqを提案する。
  論文  参考訳（メタデータ） (2023-10-18T21:56:04Z)
• Nearest Neighbor Zero-Shot Inference [68.56747574377215]
  kNN-Promptは、言語モデル(LM)を用いたゼロショット推論のためのk-nearest neighbor (kNN)検索拡張手法である。 ファジィ動詞化器は、各分類ラベルを自然言語トークンのセットに自動的に関連付けることで、下流タスクのスパースkNN分布を利用する。 実験により,kNN-Promptはドメイン適応に有効であり,さらに,kNN検索に使用するモデルのサイズに応じて,検索のメリットが増加することが示された。
  論文  参考訳（メタデータ） (2022-05-27T07:00:59Z)
• Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
  k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
  論文  参考訳（メタデータ） (2022-04-13T05:46:31Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Constraint Translation Candidates: A Bridge between Neural Query Translation and Cross-lingual Information Retrieval [45.88734029123836]
  本稿では,QTのオープンターゲット語彙検索空間を,検索インデックスデータベースから抽出した重要な単語の集合に限定することで,問題を緩和する新しい手法を提案する。 提案手法を実単語CLIRシステムで活用し,検討した。
  論文  参考訳（メタデータ） (2020-10-26T15:27:51Z)
• Nearest Neighbor Machine Translation [113.96357168879548]
  我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。 キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。 多くの設定で一貫してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-01T22:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。