論文の概要: Learning Decoupled Retrieval Representation for Nearest Neighbour Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2209.08738v3
• Date: Tue, 19 Sep 2023 04:25:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 20:30:15.190270
• Title: Learning Decoupled Retrieval Representation for Nearest Neighbour Neural Machine Translation
• Title（参考訳）: 近距離ニューラルマシン翻訳のための学習分離検索表現
• Authors: Qiang Wang, Rongxiang Weng, Ming Chen
• Abstract要約: kNN-MTは、テスト時に単語レベルの表現を取得することで、外部コーパスをうまく組み込む。 本稿では,これら2つのタスクの表現の結合が,きめ細かな検索に準最適であることを強調する。 教師付きコントラスト学習を利用して、元の文脈表現から派生した特徴的表現を学習する。
• 参考スコア（独自算出の注目度）: 16.558519886325623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: K-Nearest Neighbor Neural Machine Translation (kNN-MT) successfully incorporates external corpus by retrieving word-level representations at test time. Generally, kNN-MT borrows the off-the-shelf context representation in the translation task, e.g., the output of the last decoder layer, as the query vector of the retrieval task. In this work, we highlight that coupling the representations of these two tasks is sub-optimal for fine-grained retrieval. To alleviate it, we leverage supervised contrastive learning to learn the distinctive retrieval representation derived from the original context representation. We also propose a fast and effective approach to constructing hard negative samples. Experimental results on five domains show that our approach improves the retrieval accuracy and BLEU score compared to vanilla kNN-MT.
• Abstract（参考訳）: K-Nearest Neighbor Neural Machine Translation (kNN-MT)は、テスト時に単語レベルの表現を取得することで、外部コーパスをうまく組み込む。 一般的に、kNN-MTは、最後のデコーダ層の出力を検索タスクのクエリベクトルとして、翻訳タスクのオフ・ザ・シェルフコンテキスト表現を借用する。 本稿では,これら2つのタスクの表現の結合が,きめ細かい検索に最適であることを示す。 これを軽減するために,教師付きコントラスト学習を活用し,元の文脈表現から派生した特徴的検索表現を学習する。 また, 強陰性試料の迅速かつ効率的な構築法を提案する。 5領域の実験結果から,vailla knn-mtと比較して検索精度とbleuスコアが向上した。

関連論文リスト

• Towards Faster k-Nearest-Neighbor Machine Translation [56.66038663128903]
  k-nearest-neighbor 機械翻訳アプローチは、トークンをデコードする際に、データストア全体の重い検索オーバーヘッドに悩まされる。 ニューラルネットワークの翻訳モデルとkNNが生成する確率によってトークンが共同で翻訳されるべきかどうかを予測するための,単純で効果的な多層パーセプトロン(MLP)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:41:29Z)
• Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation [57.49095610777317]
  $k$-Nearestの隣人機械翻訳($k$NN-MT)は、新しい翻訳ドメインに非パラメトリックに適応する能力によって注目を集めている。 本稿では,元のデータストアを再構築することで,$k$NN-MTのデータストア検索を高速化する手法を提案する。 提案手法は,$k$NN-MTのデータストア検索と翻訳品質を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T03:04:42Z)
• Learning Homographic Disambiguation Representation for Neural Machine Translation [20.242134720005467]
  ニューラル・マシン・トランスレーション(NMT)において、同じ綴りだが異なる意味を持つ単語であるホモグラフは依然として困難である 我々は、潜伏空間におけるNMT問題に取り組むための新しいアプローチを提案する。 まず、自然言語推論(NLI)タスクで普遍的な文表現を学ぶために、エンコーダ(別名ホモグラフィックエンコーダ)を訓練する。 さらに、ホモグラフベースの合成WordNetを用いてエンコーダを微調整し、文から単語集合表現を学習する。
  論文  参考訳（メタデータ） (2023-04-12T13:42:59Z)
• Cross-Lingual Cross-Modal Retrieval with Noise-Robust Learning [25.230786853723203]
  低リソース言語に対するノイズローバストな言語間クロスモーダル検索手法を提案する。 低リソース言語のための擬似並列文ペアを構築するために,機械翻訳を用いる。 ノイズロスのターゲット言語表現を学習するための多視点自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-08-26T09:32:24Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
  k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
  論文  参考訳（メタデータ） (2022-04-13T05:46:31Z)
• Speech Sequence Embeddings using Nearest Neighbors Contrastive Learning [15.729812221628382]
  教師なしのコントラスト学習目標を用いてトレーニング可能な,シンプルなニューラルエンコーダアーキテクチャを提案する。 近年の自己教師型音声表現の上に構築されている場合,本手法は反復的に適用でき,競争力のあるSSEが得られることを示す。
  論文  参考訳（メタデータ） (2022-04-11T14:28:01Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。