論文の概要: Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2305.16599v1
• Date: Fri, 26 May 2023 03:04:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 17:09:22.088875
• Title: Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation
• Title（参考訳）: k-Nearest Neighbor Neural Machine Translationのためのコンテキスト表現における領域ギャップのブリッジ
• Authors: Zhiwei Cao, Baosong Yang, Huan Lin, Suhang Wu, Xiangpeng Wei, Dayiheng Liu, Jun Xie, Min Zhang and Jinsong Su
• Abstract要約: $k$-Nearestの隣人機械翻訳($k$NN-MT)は、新しい翻訳ドメインに非パラメトリックに適応する能力によって注目を集めている。 本稿では,元のデータストアを再構築することで,$k$NN-MTのデータストア検索を高速化する手法を提案する。 提案手法は,$k$NN-MTのデータストア検索と翻訳品質を効果的に向上させることができる。
• 参考スコア（独自算出の注目度）: 57.49095610777317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: $k$-Nearest neighbor machine translation ($k$NN-MT) has attracted increasing attention due to its ability to non-parametrically adapt to new translation domains. By using an upstream NMT model to traverse the downstream training corpus, it is equipped with a datastore containing vectorized key-value pairs, which are retrieved during inference to benefit translation. However, there often exists a significant gap between upstream and downstream domains, which hurts the retrieval accuracy and the final translation quality. To deal with this issue, we propose a novel approach to boost the datastore retrieval of $k$NN-MT by reconstructing the original datastore. Concretely, we design a reviser to revise the key representations, making them better fit for the downstream domain. The reviser is trained using the collected semantically-related key-queries pairs, and optimized by two proposed losses: one is the key-queries semantic distance ensuring each revised key representation is semantically related to its corresponding queries, and the other is an L2-norm loss encouraging revised key representations to effectively retain the knowledge learned by the upstream NMT model. Extensive experiments on domain adaptation tasks demonstrate that our method can effectively boost the datastore retrieval and translation quality of $k$NN-MT.\footnote{Our code is available at \url{https://github.com/DeepLearnXMU/RevisedKey-knn-mt}.}
• Abstract（参考訳）: $k$-Nearestの隣人機械翻訳($k$NN-MT)は、新しい翻訳ドメインに非パラメトリックに適応する能力によって注目を集めている。 上流のNMTモデルを用いて、下流のトレーニングコーパスを横切ることで、ベクトル化されたキーと値のペアを含むデータストアを、推論中に取得して翻訳に役立てる。 しかし、上流ドメインと下流ドメインの間には大きなギャップがしばしば存在し、検索精度と最終的な翻訳品質が損なわれる。 そこで本研究では,元のデータストアを再構築することで,$k$NN-MTのデータストア検索を高速化する手法を提案する。 具体的には、キー表現を改訂するリバイザを設計し、下流ドメインに適合するようにします。 リバイザは、収集されたセマンティクス関連キーキューペアを使用してトレーニングされ、2つの提案される損失により最適化される: 1つは、各修正されたキー表現が対応するクエリにセマンティクス的に関連していることを保証するキーキュー意味距離であり、もう1つは、修正されたキー表現を奨励するl2ノルム損失であり、上流nmtモデルで学んだ知識を効果的に保持する。 ドメイン適応タスクに関する大規模な実験により,本手法はデータストア検索と翻訳品質を$k$NN-MTで効果的に向上させることができることを示した。 コードは \url{https://github.com/deeplearnxmu/revisedkey-knn-mt} で入手できる。 }

関連論文リスト

• Towards Faster k-Nearest-Neighbor Machine Translation [56.66038663128903]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• KNN-LM Does Not Improve Open-ended Text Generation [34.86733697757264]
  検索強化言語モデル(LM)の生成品質について検討する。 検索分布の補間は, ベースライントランスフォーマーLMと比較して, 実際にパープレキシティを増大させることがわかった。 検索分布のエントロピーは、生成シーケンスが長くなるにつれて、ベースLMのエントロピーよりも速く増加する。
  論文  参考訳（メタデータ） (2023-05-24T01:48:33Z)
• Learning Decoupled Retrieval Representation for Nearest Neighbour Neural Machine Translation [16.558519886325623]
  kNN-MTは、テスト時に単語レベルの表現を取得することで、外部コーパスをうまく組み込む。 本稿では,これら2つのタスクの表現の結合が,きめ細かな検索に準最適であることを強調する。 教師付きコントラスト学習を利用して、元の文脈表現から派生した特徴的表現を学習する。
  論文  参考訳（メタデータ） (2022-09-19T03:19:38Z)
• Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
  E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。 本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:41:02Z)
• Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
  k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
  論文  参考訳（メタデータ） (2022-04-13T05:46:31Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Iterative Domain-Repaired Back-Translation [50.32925322697343]
  本稿では,ドメイン内並列コーパスが少ない,あるいは存在しない,低リソースのドメイン固有翻訳に焦点を当てる。 本稿では,合成バイリンガルデータの翻訳を洗練するためのドメイン・リペアモデルを提案する。 提案手法の有効性を示すため,NMTモデルを特定の領域と一般領域から特定の領域に適応させる実験を行った。
  論文  参考訳（メタデータ） (2020-10-06T04:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。