論文の概要: Improving Neural Machine Translation by Denoising Training

• arxiv url: http://arxiv.org/abs/2201.07365v2
• Date: Thu, 20 Jan 2022 03:55:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-22 05:26:07.286283
• Title: Improving Neural Machine Translation by Denoising Training
• Title（参考訳）: Denoising Trainingによるニューラルマシン翻訳の改善
• Authors: Liang Ding, Keqin Peng and Dacheng Tao
• Abstract要約: 本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。 モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。 実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
• 参考スコア（独自算出の注目度）: 95.96569884410137
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We present a simple and effective pretraining strategy {D}en{o}ising {T}raining DoT for neural machine translation. Specifically, we update the model parameters with source- and target-side denoising tasks at the early stage and then tune the model normally. Notably, our approach does not increase any parameters or training steps, requiring the parallel data merely. Experiments show that DoT consistently improves the neural machine translation performance across 12 bilingual and 16 multilingual directions (data size ranges from 80K to 20M). In addition, we show that DoT can complement existing data manipulation strategies, i.e. curriculum learning, knowledge distillation, data diversification, bidirectional training, and back-translation. Encouragingly, we found that DoT outperforms costly pretrained model mBART in high-resource settings. Analyses show DoT is a novel in-domain cross-lingual pretraining strategy and could offer further improvements with task-relevant self-supervisions.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク翻訳のための簡易かつ効果的な事前学習戦略 {D}en{o}ising {T}raining DoTを提案する。 具体的には、モデルパラメータを初期段階でソースおよびターゲットサイドのデノイジングタスクで更新し、モデルを正常にチューニングします。 特に、我々のアプローチはパラメータやトレーニングステップを増やさず、単に並列データを必要とします。 実験によると、dotは12のバイリンガルと16の多言語方向(データサイズは80kから20m)で一貫してニューラルネットワークの翻訳性能を向上させる。 さらに,dotが既存のデータ操作戦略,すなわちカリキュラム学習,知識蒸留,データの多様化,双方向トレーニング,バックトランスレーションを補完できることも示す。 その結果,DoTは高リソース環境での事前学習モデルmBARTよりも優れていることがわかった。 分析によるとdotは、新しいドメイン内クロスリンガル事前学習戦略であり、タスク関連の自己スーパービジョンによりさらなる改善を提供する可能性がある。

関連論文リスト

• Instruction Tuned Models are Quick Learners [20.771930945083994]
  そこで本研究では,各種タスクにおける指導調律モデルのサンプル効率について述べる。 STL設定では、下流列車データの25%を備えた指導調律モデルが下流タスクのSOTA性能を上回っている。 MTL設定では、下流のトレーニングデータの6%しか訓練されていない指導調律モデルがSOTAを達成する一方で、100%のトレーニングデータを使用することで3.69%の改善が達成される。
  論文  参考訳（メタデータ） (2023-05-17T22:30:01Z)
• On the Pareto Front of Multilingual Neural Machine Translation [123.94355117635293]
  我々は、ニューラルネットワーク翻訳(MNMT)におけるサンプリング比によって、与えられた方向の性能がどう変化するかを検討する。 我々は,MNMTにおけるユニークなパフォーマンストレードオフフロントを予測するために,ダブルパワー法を提案する。 本実験では, トレーニング予算の1/5から1/2に過ぎず, 温度探索法や勾配操作法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2023-04-06T16:49:19Z)
• Efficient Speech Translation with Pre-trained Models [13.107314023500349]
  本研究では,事前学習モデルに基づいて,ケースドとエンド・ツー・エンドの音声翻訳システムを構築するための効率的な手法を検討する。 エンド・ツー・エンドのモデルはカスケードモデルよりも優れた翻訳性能を示すが、この技術の適用はエンド・ツー・エンドのトレーニングデータの追加の必要性に制限がある。
  論文  参考訳（メタデータ） (2022-11-09T15:07:06Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• Multilingual Speech Translation with Efficient Finetuning of Pretrained Models [82.22294901727933]
  最小限のLNA(LayerNorm and Attention)ファインタニングは、ゼロショットのクロスリンガルおよびクロスモーダリティ転送能力を実現することができる。 本手法は多言語多言語モデルにおいて強いゼロショット性能を示す。
  論文  参考訳（メタデータ） (2020-10-24T08:15:08Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)
• Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models [20.976165305749777]
  我々は,既存のトレーニングセットから影響力のあるデータサンプルを再選択することで,事前学習したNMTモデルを改善するカリキュラムを学習する。 本稿では,決定論的アクタ批判に基づくデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-13T03:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。