論文の概要: Non-parametric, Nearest-neighbor-assisted Fine-tuning for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2305.13648v1
• Date: Tue, 23 May 2023 03:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:22:58.995296
• Title: Non-parametric, Nearest-neighbor-assisted Fine-tuning for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のための非パラメトリック近傍支援ファインチューニング
• Authors: Jiayi Wang, Ke Wang, Yuqi Zhang, Yu Zhao, Pontus Stenetorp
• Abstract要約: 非パラメトリック k-nearest-neighborアルゴリズムは、最近、言語モデルや機械翻訳デコーダなどの生成モデルを支援するために普及している。 このような非パラメトリックモデルが、kNN予測の統計を取り入れることで、微調整段階における機械翻訳モデルを改善することができるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 22.59222643493867
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Non-parametric, k-nearest-neighbor algorithms have recently made inroads to assist generative models such as language models and machine translation decoders. We explore whether such non-parametric models can improve machine translation models at the fine-tuning stage by incorporating statistics from the kNN predictions to inform the gradient updates for a baseline translation model. There are multiple methods which could be used to incorporate kNN statistics and we investigate gradient scaling by a gating mechanism, the kNN's ground truth probability, and reinforcement learning. For four standard in-domain machine translation datasets, compared with classic fine-tuning, we report consistent improvements of all of the three methods by as much as 1.45 BLEU and 1.28 BLEU for German-English and English-German translations respectively. Through qualitative analysis, we found particular improvements when it comes to translating grammatical relations or function words, which results in increased fluency of our model.
• Abstract（参考訳）: 非パラメトリック k-nearest-neighborアルゴリズムは、最近、言語モデルや機械翻訳デコーダなどの生成モデルを支援するために普及している。 このような非パラメトリックモデルは、kNN予測の統計を組み込んで、ベースライン翻訳モデルの勾配更新を知らせることで、微調整段階で機械翻訳モデルを改善することができるかどうかを検討する。 kNN統計を組み込むための複数の手法があり、ゲーティング機構による勾配スケーリング、kNNの基底真理確率、強化学習について検討する。 古典的微調整と比較して、4つの標準の機械翻訳データセットについて、ドイツ語と英語とドイツ語の翻訳に対して、それぞれ 1.45 bleu と 1.28 bleu による3つの方法の一貫した改善を報告している。 質的な分析により,文法的関係や機能的単語の翻訳に関して特に改善が見られ,その結果,モデルの流布度が向上した。

関連論文リスト

• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• Context-Aware Machine Translation with Source Coreference Explanation [26.336947440529713]
  本稿では,入力中のコア参照の特徴を予測し,翻訳のための意思決定を説明するモデルを提案する。 我々は、WMT文書レベルの翻訳タスクにおいて、英語-ドイツ語データセット、英語-ロシア語データセット、多言語TEDトークデータセットの評価を行った。
  論文  参考訳（メタデータ） (2024-04-30T12:41:00Z)
• Human Evaluation of English--Irish Transformer-Based NMT [2.648836772989769]
  ベストパフォーマンスのTransformerシステムは、RNNベースのモデルと比較して精度と誤差を著しく低減する。 Google Translateに対してベンチマークを行ったところ、我々の翻訳エンジンは大幅に改善された。
  論文  参考訳（メタデータ） (2024-03-04T11:45:46Z)
• Machine Translation for Ge'ez Language [0.0]
  Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。 言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。 また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
  論文  参考訳（メタデータ） (2023-11-24T14:55:23Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Nearest Neighbor Machine Translation [113.96357168879548]
  我々は、$k$-nearest-neighbor machine translation(k$NN-MT)を紹介する。 キャッシュされたサンプルの大きなデータストア上で、最も近い隣の分類器でトークンを予測する。 多くの設定で一貫してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-01T22:24:46Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。