論文の概要: Efficient Cluster-Based k-Nearest-Neighbor Machine Translation

• arxiv url: http://arxiv.org/abs/2204.06175v1
• Date: Wed, 13 Apr 2022 05:46:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 12:49:19.821168
• Title: Efficient Cluster-Based k-Nearest-Neighbor Machine Translation
• Title（参考訳）: クラスタベース k-Nearest-Neighbor 機械翻訳の効率化
• Authors: Dexin Wang, Kai Fan, Boxing Chen and Deyi Xiong
• Abstract要約: k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
• 参考スコア（独自算出の注目度）: 65.69742565855395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: k-Nearest-Neighbor Machine Translation (kNN-MT) has been recently proposed as a non-parametric solution for domain adaptation in neural machine translation (NMT). It aims to alleviate the performance degradation of advanced MT systems in translating out-of-domain sentences by coordinating with an additional token-level feature-based retrieval module constructed from in-domain data. Previous studies have already demonstrated that non-parametric NMT is even superior to models fine-tuned on out-of-domain data. In spite of this success, kNN retrieval is at the expense of high latency, in particular for large datastores. To make it practical, in this paper, we explore a more efficient kNN-MT and propose to use clustering to improve the retrieval efficiency. Concretely, we first propose a cluster-based Compact Network for feature reduction in a contrastive learning manner to compress context features into 90+% lower dimensional vectors. We then suggest a cluster-based pruning solution to filter out 10%-40% redundant nodes in large datastores while retaining translation quality. Our proposed methods achieve better or comparable performance while reducing up to 57% inference latency against the advanced non-parametric MT model on several machine translation benchmarks. Experimental results indicate that the proposed methods maintain the most useful information of the original datastore and the Compact Network shows good generalization on unseen domains.
• Abstract（参考訳）: k-nearest-neighbor machine translation (knn-mt) は神経機械翻訳における領域適応の非パラメトリック解として最近提案されている。 ドメイン内データから構築されたトークンレベルの特徴に基づく検索モジュールを付加することで、ドメイン外文の翻訳における高度なMTシステムの性能劣化を軽減することを目的とする。 これまでの研究では、非パラメトリックnmtはドメイン外データで微調整されたモデルよりも優れていることが示されている。 この成功にもかかわらず、kNN検索は特に大規模なデータストアにおいて、高いレイテンシを犠牲にしている。 そこで本研究では,より効率的なkNN-MTを提案するとともに,クラスタリングによる検索効率の向上を提案する。 具体的には, 文脈特徴を90+%下方次元ベクトルに圧縮するために, コントラスト学習方式で特徴量削減のためのクラスタ型コンパクトネットワークを提案する。 次に、大規模なデータストアで10%-40%の冗長ノードをフィルタし、翻訳品質を維持しながらクラスタベースのプルーニングソリューションを提案する。 提案手法は,いくつかの機械翻訳ベンチマークにおいて,先進的非パラメトリックmtモデルに対する推論遅延を最大57%削減しつつ,優れた性能と同等の性能を実現する。 実験結果から,提案手法はデータストアの最も有用な情報を保持し,ネットワークのコンパクト化は未認識領域のよい一般化を示すことが示唆された。

関連論文リスト

• Towards Faster k-Nearest-Neighbor Machine Translation [56.66038663128903]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation [57.49095610777317]
  $k$-Nearestの隣人機械翻訳($k$NN-MT)は、新しい翻訳ドメインに非パラメトリックに適応する能力によって注目を集めている。 本稿では,元のデータストアを再構築することで,$k$NN-MTのデータストア検索を高速化する手法を提案する。 提案手法は,$k$NN-MTのデータストア検索と翻訳品質を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T03:04:42Z)
• Nearest Neighbor Machine Translation is Meta-Optimizer on Output Projection Layer [44.02848852485475]
  Nearest Neighbor Machine Translation (k$NN-MT)はドメイン適応タスクで大きな成功を収めた。 理論的および実証的研究を通じて,$k$NN-MTを包括的に分析した。
  論文  参考訳（メタデータ） (2023-05-22T13:38:53Z)
• Simple and Scalable Nearest Neighbor Machine Translation [11.996135740547897]
  $k$NN-MTは、高速なドメイン適応のための強力なアプローチである。 簡便でスケーラブルな近接機械翻訳フレームワークを提案する。 提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-23T17:28:29Z)
• Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
  近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T07:43:39Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Variational Auto Encoder Gradient Clustering [0.0]
  近年,ディープニューラルネットワークモデルを用いたクラスタリングが広く研究されている。 本稿では、より良いクラスタリングを実現するために確率関数勾配上昇を使用してデータを処理する方法を検討する。 DBSCANクラスタリングアルゴリズムに基づいて,データに適したクラスタ数を調べるための簡便かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2021-05-11T08:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。