論文の概要: Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2212.08822v1
• Date: Sat, 17 Dec 2022 08:34:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 16:13:06.732677
• Title: Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation
• Title（参考訳）: より良いデータストア、より良い翻訳:最も近いニューラルネットワーク翻訳のための事前学習モデルからデータストアを生成する
• Authors: Jiahuan Li, Shanbo Cheng, Zewei Sun, Mingxuan Wang, Shujian Huang
• Abstract要約: Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。 本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
• 参考スコア（独自算出の注目度）: 48.58899349349702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nearest Neighbor Machine Translation (kNNMT) is a simple and effective method of augmenting neural machine translation (NMT) with a token-level nearest neighbor retrieval mechanism. The effectiveness of kNNMT directly depends on the quality of retrieved neighbors. However, original kNNMT builds datastores based on representations from NMT models, which would result in poor retrieval accuracy when NMT models are not good enough, leading to sub-optimal translation performance. In this paper, we propose PRED, a framework that leverages Pre-trained models for Datastores in kNN-MT. Better representations from pre-trained models allow us to build datastores of better quality. We also design a novel contrastive alignment objective to mitigate the representation gap between the NMT model and pre-trained models, enabling the NMT model to retrieve from better datastores. We conduct extensive experiments on both bilingual and multilingual translation benchmarks, including WMT17 English $\leftrightarrow$ Chinese, WMT14 English $\leftrightarrow$ German, IWSLT14 German $\leftrightarrow$ English, and IWSLT14 multilingual datasets. Empirical results demonstrate the effectiveness of PRED.
• Abstract（参考訳）: Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。 kNNMTの有効性は、取得した隣人の品質に直接依存する。 しかし、元のkNNMTはNMTモデルからの表現に基づいてデータストアを構築するため、NMTモデルが不十分な場合には検索精度が低下し、サブ最適翻訳性能が低下する。 本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。 事前訓練されたモデルによるより良い表現により、より良い品質のデータストアを構築することができます。 また、NMTモデルと事前学習モデルとの表現ギャップを軽減するために、新しいコントラストアライメント目的を設計し、NMTモデルがより良いデータストアから取得できるようにする。 wmt17英語$\leftrightarrow$ chinese、wmt14英語$\leftrightarrow$ german、iwslt14ドイツ語$\leftrightarrow$ english、iwslt14多言語データセットなど、バイリンガルおよび多言語翻訳ベンチマークの広範な実験を行った。 実験結果はpredの有効性を示す。

関連論文リスト

• knn-seq: Efficient, Extensible kNN-MT Framework [11.421689052786467]
  k-nearest-neighbor machine translation (kNN-MT)は、デコード中の翻訳例を利用して、事前訓練された機械翻訳(NMT)モデルの翻訳品質を高める。 そのサイズのため、データストアからサンプルの構築と検索の両方に計算コストがかかる。 数十億規模の大規模データストアでも効率的に動作するように設計された研究者や開発者にとって,効率的なkNN-MTフレームワークであるknn-seqを提案する。
  論文  参考訳（メタデータ） (2023-10-18T21:56:04Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
  近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T07:43:39Z)
• Chunk-based Nearest Neighbor Machine Translation [7.747003493657217]
  我々は、単一のトークンではなく、データストアからトークンの塊を検索する、テクスチャンクベースの$k$NN-MTモデルを導入する。 静的ドメイン適応とオンザフライ適応という2つの設定による機械翻訳の実験は、チャンクベースのモデルが、翻訳品質をわずかに低下させるだけで、大幅なスピードアップ(最大4倍)につながることを示している。
  論文  参考訳（メタデータ） (2022-05-24T17:39:25Z)
• End-to-End Training for Back-Translation with Categorical Reparameterization Trick [0.0]
  バックトランスレーションは、ニューラルネットワーク翻訳(NMT)における効果的な半教師付き学習フレームワークである 事前学習されたNMTモデルは、モノリンガル文を翻訳し、他のNMTモデルのトレーニングのために合成バイリンガル文ペアを作成する。 翻訳文の離散的性質は、情報勾配が2つのNMTモデル間で流れるのを防ぐ。
  論文  参考訳（メタデータ） (2022-02-17T06:31:03Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Nearest Neighbor Machine Translation [113.96357168879548]
  我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。 キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。 多くの設定で一貫してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-01T22:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。