Fugu-MT 論文翻訳(概要): Improving Machine Translation with Phrase Pair Injection and Corpus Filtering

論文の概要: Improving Machine Translation with Phrase Pair Injection and Corpus Filtering

arxiv url: http://arxiv.org/abs/2301.08008v1
Date: Thu, 19 Jan 2023 11:27:56 GMT
ステータス: 処理完了
システム内更新日: 2023-01-20 15:17:44.750823
Title: Improving Machine Translation with Phrase Pair Injection and Corpus Filtering
Title（参考訳）: フレーズペア注入とコーパスフィルタリングによる機械翻訳の改善
Authors: Akshay Batheja, Pushpak Bhattacharyya
Abstract要約: 本稿では,Phrase Pair Injection と Corpus Filtering を組み合わせることで,ニューラルネットワーク翻訳(NMT)システムの性能が向上することを示す。擬似並列コーパスからパラレルフレーズと文を抽出し,それを並列コーパスで拡張し,NMTモデルを訓練する。
参考スコア（独自算出の注目度）: 36.9886023078247
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper, we show that the combination of Phrase Pair Injection and Corpus Filtering boosts the performance of Neural Machine Translation (NMT) systems. We extract parallel phrases and sentences from the pseudo-parallel corpus and augment it with the parallel corpus to train the NMT models. With the proposed approach, we observe an improvement in the Machine Translation (MT) system for 3 low-resource language pairs, Hindi-Marathi, English-Marathi, and English-Pashto, and 6 translation directions by up to 2.7 BLEU points, on the FLORES test data. These BLEU score improvements are over the models trained using the whole pseudo-parallel corpus augmented with the parallel corpus.
Abstract（参考訳）: 本稿では,Phrase Pair Injection と Corpus Filtering を組み合わせることで,ニューラルマシン翻訳(NMT)システムの性能が向上することを示す。擬似並列コーパスからパラレルフレーズと文を抽出し,それを並列コーパスで拡張し,NMTモデルを訓練する。提案手法では,FLORESテストデータから,Hindi-Marathi,British-Marathi,British-Pashtoの3つの低リソース言語ペアに対する機械翻訳(MT)システムの改善と,最大2.7BLEUポイントの翻訳方向を導出する。これらのBLEUスコアの改善は、並列コーパスを付加した擬似並列コーパス全体をトレーニングしたモデルよりも優れている。

関連論文リスト

Bilingual Corpus Mining and Multistage Fine-Tuning for Improving Machine Translation of Lecture Transcripts [50.00305136008848]
本研究では,並列コーパスマイニングのためのフレームワークを提案し,Coursera の公開講義から並列コーパスを迅速かつ効果的にマイニングする方法を提案する。日英両国の講義翻訳において,約5万行の並列コーパスを抽出し,開発・テストセットを作成した。また,コーパスの収集とクリーニング,並列文のマイニング,マイニングデータのクリーニング,高品質な評価スプリットの作成に関するガイドラインも提案した。
論文参考訳（メタデータ） (2023-11-07T03:50:25Z)
M3ST: Mix at Three Levels for Speech Translation [66.71994367650461]
本稿では,M3ST法を3段階に分けて提案し,拡張学習コーパスの多様性を高める。ファインチューニングの第1段階では、単語レベル、文レベル、フレームレベルを含む3段階のトレーニングコーパスを混合し、モデル全体を混合データで微調整する。 MuST-C音声翻訳ベンチマークと分析実験により、M3STは現在の強いベースラインより優れ、平均的なBLEU29.9の8方向の最先端の結果が得られることが示された。
論文参考訳（メタデータ） (2022-12-07T14:22:00Z)
A Bilingual Parallel Corpus with Discourse Annotations [82.07304301996562]
本稿では,Jiang et al. (2022)で最初に導入された大きな並列コーパスであるBWBと,注釈付きテストセットについて述べる。 BWBコーパスは、専門家によって英語に翻訳された中国の小説で構成されており、注釈付きテストセットは、様々な談話現象をモデル化する機械翻訳システムの能力を調査するために設計されている。
論文参考訳（メタデータ） (2022-10-26T12:33:53Z)
EAG: Extract and Generate Multi-way Aligned Corpus for Complete Multi-lingual Neural Machine Translation [63.88541605363555]
EAG(Extract and Generate)は,バイリンガルデータから大規模かつ高品質なマルチウェイアライメントコーパスを構築するための2段階のアプローチである。まず、異なる言語対から、非常に類似したソースやターゲット文を持つバイリンガルな例をペアリングして、候補に整列した例を抽出する。次に、よく訓練された生成モデルを用いて、候補から最終的な整列例を生成する。
論文参考訳（メタデータ） (2022-03-04T08:21:27Z)
Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining [38.10950540247151]
単言語データのみに依存する多言語文の埋め込みを導出する新しい教師なし手法を提案する。まず、教師なし機械翻訳を用いて合成並列コーパスを作成し、事前訓練された言語間マスキング言語モデル(XLM)を微調整する。また, 2つの並列コーパスマイニング作業において, バニラXLMよりも22F1ポイント向上した。
論文参考訳（メタデータ） (2021-05-21T15:39:16Z)
Extended Parallel Corpus for Amharic-English Machine Translation [0.0]
リソース不足の言語であるamharicの機械翻訳に有用である。コーパスを用いて,ニューラルマシン翻訳とフレーズベース統計機械翻訳モデルを訓練した。
論文参考訳（メタデータ） (2021-04-08T06:51:08Z)
A Corpus for English-Japanese Multimodal Neural Machine Translation with Comparable Sentences [21.43163704217968]
既存の画像キャプションデータセットから合成した文に匹敵する多モーダルな英和コーパスを提案する。ベースライン実験において翻訳スコアが低かったため、現在のマルチモーダルNMTモデルは、比較文データを有効に活用するために設計されていないと信じている。
論文参考訳（メタデータ） (2020-10-17T06:12:25Z)
SJTU-NICT's Supervised and Unsupervised Neural Machine Translation Systems for the WMT20 News Translation Task [111.91077204077817]
我々は英語・中国語・英語・ポーランド語・ドイツ語・アッパー・ソルビアンという3つの言語対の4つの翻訳指導に参加した。言語ペアの異なる条件に基づいて、我々は多様なニューラルネットワーク翻訳(NMT)技術の実験を行った。私たちの提出書では、主要なシステムは英語、中国語、ポーランド語、英語、ドイツ語から上セルビア語への翻訳の道順で第一位を獲得しました。
論文参考訳（メタデータ） (2020-10-11T00:40:05Z)
Parallel Corpus Filtering via Pre-trained Language Models [14.689457985200141]
Webcrawled Dataは、機械翻訳モデルをトレーニングするための並列コーパスの優れたソースを提供する。最近の研究によると、ニューラルマシン翻訳システムは従来の統計機械翻訳法よりもノイズに敏感である。本稿では,事前学習言語モデルを用いて,Webcrawled corporaからノイズの多い文ペアを抽出する手法を提案する。
論文参考訳（メタデータ） (2020-05-13T06:06:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。