論文の概要: AdMix: A Mixed Sample Data Augmentation Method for Neural Machine
Translation
- arxiv url: http://arxiv.org/abs/2205.04686v1
- Date: Tue, 10 May 2022 05:43:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-05-12 18:53:14.504425
- Title: AdMix: A Mixed Sample Data Augmentation Method for Neural Machine
Translation
- Title（参考訳）: AdMix: ニューラルネットワーク翻訳のための混合サンプルデータ拡張手法
- Authors: Chang Jin, Shigui Qiu, Nini Xiao, Hao Jia
- Abstract要約: ニューラルネットワーク翻訳(NMT)のための新しいデータ拡張手法を提案する。
AdMix は,(1) 原文対にかすかな離散ノイズを導入して増補サンプルを生成する,2) 増補サンプルを原文コーパスに軟混合することにより,新たな合成訓練データを生成する,という2つの部分から構成される。
異なるスケールの3つの翻訳データセットの実験では、AdMixは強力なトランスフォーマーベースラインよりもシグニフィカントの改善(1.0から2.7 BLEUポイント)を達成している。
- 参考スコア（独自算出の注目度）: 1.6221957454728797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Neural Machine Translation (NMT), data augmentation methods such as
back-translation have proven their effectiveness in improving translation
performance. In this paper, we propose a novel data augmentation approach for
NMT, which is independent of any additional training data. Our approach, AdMix,
consists of two parts: 1) introduce faint discrete noise (word replacement,
word dropping, word swapping) into the original sentence pairs to form
augmented samples; 2) generate new synthetic training data by softly mixing the
augmented samples with their original samples in training corpus. Experiments
on three translation datasets of different scales show that AdMix achieves
signifi cant improvements (1.0 to 2.7 BLEU points) over strong Transformer
baseline. When combined with other data augmentation techniques (e.g.,
back-translation), our approach can obtain further improvements.
- Abstract（参考訳）: ニューラルマシン翻訳(nmt)では、バックトランスレーションなどのデータ拡張手法が翻訳性能の向上に有効であることが証明されている。
本稿では,追加のトレーニングデータとは無関係なnmtのための新しいデータ拡張手法を提案する。
私たちのアプローチであるAdMixは2つの部分で構成されています。
1) 原文対に明瞭な離散ノイズ(単語置換,単語ドロップ,単語スワップ)を導入し,追加サンプルを作成する。
2) 強化試料と元の試料とを柔らかく混合することにより, 新たな合成訓練データを生成する。
異なるスケールの3つの翻訳データセットの実験では、AdMixは強力なトランスフォーマーベースラインよりもシグニフィカントの改善(1.0から2.7 BLEUポイント)を達成している。
他のデータ拡張技術(バックトランスレーションなど)と組み合わせることで,さらなる改善が期待できる。
関連論文リスト
- TransformMix: Learning Transformation and Mixing Strategies from Data [20.79680733590554]
我々は、データからより良い変換と拡張戦略を混合するための自動アプローチであるTransformMixを提案する。
本稿では,トランスフォーメーション学習,分類,オブジェクト検出,知識蒸留設定におけるTransformMixの有効性を示す。
論文 参考訳（メタデータ） (2024-03-19T04:36:41Z) - M3ST: Mix at Three Levels for Speech Translation [66.71994367650461]
本稿では,M3ST法を3段階に分けて提案し,拡張学習コーパスの多様性を高める。
ファインチューニングの第1段階では、単語レベル、文レベル、フレームレベルを含む3段階のトレーニングコーパスを混合し、モデル全体を混合データで微調整する。
MuST-C音声翻訳ベンチマークと分析実験により、M3STは現在の強いベースラインより優れ、平均的なBLEU29.9の8方向の最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2022-12-07T14:22:00Z) - DoubleMix: Simple Interpolation-Based Data Augmentation for Text
Classification [56.817386699291305]
本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。
DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。
次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
論文 参考訳（メタデータ） (2022-09-12T15:01:04Z) - A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。
トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。
提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
論文 参考訳（メタデータ） (2022-05-06T17:59:19Z) - ReMix: Towards Image-to-Image Translation with Limited Data [154.71724970593036]
本稿では,この問題に対処するためのデータ拡張手法(ReMix)を提案する。
特徴レベルでのトレーニングサンプルを補間し、サンプル間の知覚的関係に基づく新しいコンテンツ損失を提案します。
提案手法は, 生成のあいまいさを効果的に低減し, コンテンツ保存結果を生成する。
論文 参考訳（メタデータ） (2021-03-31T06:24:10Z) - Sequence-Level Mixed Sample Data Augmentation [119.94667752029143]
本研究は、シーケンス対シーケンス問題に対するニューラルモデルにおける合成行動を促進するための単純なデータ拡張手法を提案する。
我々の手法であるSeqMixは、トレーニングセットから入力/出力シーケンスをソフトに結合することで、新しい合成例を作成する。
論文 参考訳（メタデータ） (2020-11-18T02:18:04Z) - Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文 参考訳（メタデータ） (2020-10-05T23:37:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。