論文の概要: Angular Dispersion Accelerates $k$-Nearest Neighbors Machine Translation

• arxiv url: http://arxiv.org/abs/2509.16729v1
• Date: Sat, 20 Sep 2025 15:48:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.948097
• Title: Angular Dispersion Accelerates $k$-Nearest Neighbors Machine Translation
• Title（参考訳）: Angular Dispersionが$k$-Nearest近くのマシン翻訳を高速化
• Authors: Evgeniia Tokarchuk, Sergey Troshin, Vlad Niculae,
• Abstract要約: 復号時に外部メモリでニューラルネットワーク翻訳を増強することは、翻訳性能を高めるための確立された戦略である。 $k$-NN MTは、準備されたデータストアに記録された最もよく似たコンテキストで発生したトークンのセットを検索する。 大規模なデータストアでは網羅的な検索が不可能であるため、実践者は一般的におよそ$k$-NN MTのルックアップを使用する。 分散性の向上は, 検索データ構造におけるバランスの向上, 検索の高速化, 翻訳の微妙な改善につながることを示す。
• 参考スコア（独自算出の注目度）: 12.155276471887559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Augmenting neural machine translation with external memory at decoding time, in the form of k-nearest neighbors machine translation ($k$-NN MT), is a well-established strategy for increasing translation performance. $k$-NN MT retrieves a set of tokens that occurred in the most similar contexts recorded in a prepared data store, using hidden state representations of translation contexts as vector lookup keys. One of the main disadvantages of this method is the high computational cost and memory requirements. Since an exhaustive search is not feasible in large data stores, practitioners commonly use approximate $k$-NN MT lookup, yet even such algorithms are a bottleneck. In contrast to research directions seeking to accelerate $k$-NN MT by reducing data store size or the number of lookup calls, we pursue an orthogonal direction based on the performance properties of approximate $k$-NN MT lookup data structures. In particular, we propose to encourage angular dispersion of the neural hidden representations of contexts. We show that improving dispersion leads to better balance in the retrieval data structures, accelerating retrieval and slightly improving translations.
• Abstract（参考訳）: k-nearest neighbors machine translation(k$-NN MT)は、翻訳性能を高めるための確立された戦略である。 $k$-NN MTは、翻訳コンテキストの隠れ状態表現をベクトルルックアップキーとして使用して、準備されたデータストアに記録された最もよく似たコンテキストで発生したトークンのセットを検索する。 この方法の主な欠点の1つは、高い計算コストとメモリ要求である。 大規模なデータストアでは網羅的な検索が実現できないため、実践者は一般的におよそ$k$-NN MTのルックアップを使用するが、そのようなアルゴリズムでさえボトルネックとなっている。 データストアサイズやルックアップ呼び出し数を減らすことで$k$-NN MTの高速化を目指す研究方向とは対照的に、およそ$k$-NN MT のルックアップデータ構造の性能特性に基づいて直交方向を追求する。 特に,ニューラルネットワークによる文脈の隠れ表現の角分散を促進することを提案する。 分散性の向上は, 検索データ構造におけるバランスの向上, 検索の高速化, 翻訳の微妙な改善につながることを示す。

関連論文リスト

• Towards Faster k-Nearest-Neighbor Machine Translation [51.866464707284635]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。 本手法は,翻訳品質をわずかに低下させることなく,kNN検索のオーバーヘッドを最大53%削減する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation [57.49095610777317]
  $k$-Nearestの隣人機械翻訳($k$NN-MT)は、新しい翻訳ドメインに非パラメトリックに適応する能力によって注目を集めている。 本稿では,元のデータストアを再構築することで,$k$NN-MTのデータストア検索を高速化する手法を提案する。 提案手法は,$k$NN-MTのデータストア検索と翻訳品質を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T03:04:42Z)
• Simple and Scalable Nearest Neighbor Machine Translation [11.996135740547897]
  $k$NN-MTは、高速なドメイン適応のための強力なアプローチである。 簡便でスケーラブルな近接機械翻訳フレームワークを提案する。 提案手法は性能劣化のないNMTモデルとしてほぼ90%の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-23T17:28:29Z)
• Chunk-based Nearest Neighbor Machine Translation [7.747003493657217]
  我々は、単一のトークンではなく、データストアからトークンの塊を検索する、テクスチャンクベースの$k$NN-MTモデルを導入する。 静的ドメイン適応とオンザフライ適応という2つの設定による機械翻訳の実験は、チャンクベースのモデルが、翻訳品質をわずかに低下させるだけで、大幅なスピードアップ(最大4倍)につながることを示している。
  論文  参考訳（メタデータ） (2022-05-24T17:39:25Z)
• Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
  k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
  論文  参考訳（メタデータ） (2022-04-13T05:46:31Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Nearest Neighbor Machine Translation [113.96357168879548]
  我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。 キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。 多くの設定で一貫してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-01T22:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。