論文の概要: Towards Robust k-Nearest-Neighbor Machine Translation

• arxiv url: http://arxiv.org/abs/2210.08808v1
• Date: Mon, 17 Oct 2022 07:43:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 18:35:44.507720
• Title: Towards Robust k-Nearest-Neighbor Machine Translation
• Title（参考訳）: ロバストk-Nearest-Neighbor機械翻訳に向けて
• Authors: Hui Jiang, Ziyao Lu, Fandong Meng, Chulun Zhou, Jie Zhou, Degen Huang and Jinsong Su
• Abstract要約: 近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
• 参考スコア（独自算出の注目度）: 72.9252395037097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: k-Nearest-Neighbor Machine Translation (kNN-MT) becomes an important research direction of NMT in recent years. Its main idea is to retrieve useful key-value pairs from an additional datastore to modify translations without updating the NMT model. However, the underlying retrieved noisy pairs will dramatically deteriorate the model performance. In this paper, we conduct a preliminary study and find that this problem results from not fully exploiting the prediction of the NMT model. To alleviate the impact of noise, we propose a confidence-enhanced kNN-MT model with robust training. Concretely, we introduce the NMT confidence to refine the modeling of two important components of kNN-MT: kNN distribution and the interpolation weight. Meanwhile we inject two types of perturbations into the retrieved pairs for robust training. Experimental results on four benchmark datasets demonstrate that our model not only achieves significant improvements over current kNN-MT models, but also exhibits better robustness. Our code is available at https://github.com/DeepLearnXMU/Robust-knn-mt.
• Abstract（参考訳）: 近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 しかし, 得られた雑音対はモデル性能を劇的に低下させる。 本稿では,NMTモデルの予測を十分に活用しないことから,予備研究を行い,この問題が生じることを確かめる。 ノイズの影響を軽減するため,頑健なトレーニングを伴う信頼性向上kNN-MTモデルを提案する。 具体的には,kNN-MTの2つの重要な成分であるkNN分布と補間重みのモデリングを改良するために,NMTの信頼性を導入する。 一方, 2種類の摂動を抽出したペアに注入し, 頑健なトレーニングを行った。 4つのベンチマークデータセットにおける実験結果は、現在のkn-mtモデルよりも大幅に改善されるだけでなく、ロバスト性も向上していることを示している。 私たちのコードはhttps://github.com/deeplearnxmu/robust-knn-mtで利用可能です。

関連論文リスト

• Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
  Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。 本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
  論文  参考訳（メタデータ） (2022-12-17T08:34:20Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
  k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
  論文  参考訳（メタデータ） (2022-04-13T05:46:31Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。