論文の概要: Code-switching pre-training for neural machine translation

• arxiv url: http://arxiv.org/abs/2009.08088v1
• Date: Thu, 17 Sep 2020 06:10:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 09:10:41.444399
• Title: Code-switching pre-training for neural machine translation
• Title（参考訳）: ニューラルマシン翻訳のためのコードスイッチング事前学習
• Authors: Zhen Yang, Bojie Hu, Ambyera Han, Shen Huang and Qi Ju
• Abstract要約: 本稿では,ニューラルマシン翻訳(NMT)のためのコードスイッチング事前学習(CSP)という,新しい事前学習手法を提案する。 入力文の断片をランダムにマスキングする従来の事前学習法とは異なり、提案したCSPはソース文の単語をターゲット言語で翻訳語にランダムに置き換える。 実験結果から, CSPは, 事前訓練や事前訓練を行うことなく, ベースラインの大幅な改善を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 13.35263905025371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a new pre-training method, called Code-Switching Pre-training (CSP for short) for Neural Machine Translation (NMT). Unlike traditional pre-training method which randomly masks some fragments of the input sentence, the proposed CSP randomly replaces some words in the source sentence with their translation words in the target language. Specifically, we firstly perform lexicon induction with unsupervised word embedding mapping between the source and target languages, and then randomly replace some words in the input sentence with their translation words according to the extracted translation lexicons. CSP adopts the encoder-decoder framework: its encoder takes the code-mixed sentence as input, and its decoder predicts the replaced fragment of the input sentence. In this way, CSP is able to pre-train the NMT model by explicitly making the most of the cross-lingual alignment information extracted from the source and target monolingual corpus. Additionally, we relieve the pretrain-finetune discrepancy caused by the artificial symbols like [mask]. To verify the effectiveness of the proposed method, we conduct extensive experiments on unsupervised and supervised NMT. Experimental results show that CSP achieves significant improvements over baselines without pre-training or with other pre-training methods.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク翻訳(NMT)のためのCSP(Code-Switching Pre-training)と呼ばれる事前学習手法を提案する。 入力文の断片をランダムにマスキングする従来の事前学習法とは異なり、提案したCSPはソース文の単語をターゲット言語で翻訳語にランダムに置き換える。 具体的には、まず、ソースとターゲット言語間の教師なし単語埋め込みマッピングを用いて辞書誘導を行い、抽出された翻訳辞書に従って入力文中の単語を翻訳語にランダムに置き換える。 CSPはエンコーダ-デコーダフレームワークを採用しており、エンコーダはコード混合文を入力とし、デコーダは入力文の置換断片を予測する。 このようにして、CSPは、ソースおよびターゲット単言語コーパスから抽出された言語間アライメント情報の大部分を明示的に記述することにより、NMTモデルを事前訓練することができる。 また,[マスク]のような人工記号による事前のファイントゥン差を緩和する。 提案手法の有効性を検証するため, 教師なし・教師なしNMT実験を行った。 実験の結果,cspはプレトレーニングや他のプレトレーニング手法を使わずに,ベースラインよりも大幅に改善できることがわかった。

関連論文リスト

• Language Model is a Branch Predictor for Simultaneous Machine Translation [73.82754138171587]
  翻訳遅延を低減するため,SiMTタスクに分岐予測手法を組み込むことを提案する。 言語モデルを分岐予測器として利用し,潜在的な分岐方向を予測する。 実際のソース語が予測されたソース語から逸脱すると、実際のソース語を使用して出力を復号し、予測された出力を置き換える。
  論文  参考訳（メタデータ） (2023-12-22T07:32:47Z)
• CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training [13.462260072313894]
  同時機械翻訳(SiMT)は、全文が利用可能になる前に翻訳を開始することを必要とする課題である。 Prefix-to-フレームワークはSiMTに適用されることが多く、部分的なソースプレフィックスのみを使用してターゲットトークンを予測することを学ぶ。 本稿では,モデル信頼を利用して幻覚トークンを知覚する信頼に基づく同時機械翻訳フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-07T02:44:45Z)
• Code-Switching with Word Senses for Pretraining in Neural Machine Translation [107.23743153715799]
  ニューラルネットワーク翻訳のための単語センス事前学習(WSP-NMT)について紹介する。 WSP-NMTは、知識ベースからの単語感覚情報を活用した多言語NMTモデルの事前学習のためのエンドツーエンドアプローチである。 実験の結果,全体の翻訳品質が大幅に向上した。
  論文  参考訳（メタデータ） (2023-10-21T16:13:01Z)
• Learning Homographic Disambiguation Representation for Neural Machine Translation [20.242134720005467]
  ニューラル・マシン・トランスレーション(NMT)において、同じ綴りだが異なる意味を持つ単語であるホモグラフは依然として困難である 我々は、潜伏空間におけるNMT問題に取り組むための新しいアプローチを提案する。 まず、自然言語推論(NLI)タスクで普遍的な文表現を学ぶために、エンコーダ(別名ホモグラフィックエンコーダ)を訓練する。 さらに、ホモグラフベースの合成WordNetを用いてエンコーダを微調整し、文から単語集合表現を学習する。
  論文  参考訳（メタデータ） (2023-04-12T13:42:59Z)
• Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer [1.8594711725515678]
  ニューラルネットワーク翻訳(NMT)では、各トークン予測はソース文とターゲットプレフィックスに条件付けされる。 NMTにおける解釈可能性に関するこれまでの研究は、原文トークンの属性のみに焦点を当ててきた。 本稿では,完全な入力トークン属性を追跡する解釈可能性手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T20:59:14Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Explicit Sentence Compression for Neural Machine Translation [110.98786673598016]
  State-of-the-the-art Transformer-based Neural Machine Translation (NMT)システムはまだ標準のエンコーダデコーダフレームワークに従っている。 バックボーン情報は 文のギストを表すもので 具体的には 焦点を絞っていません 提案手法は,NMTのソース文表現を強化するための明示的な文圧縮手法である。
  論文  参考訳（メタデータ） (2019-12-27T04:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。