論文の概要: scb-mt-en-th-2020: A Large English-Thai Parallel Corpus
- arxiv url: http://arxiv.org/abs/2007.03541v1
- Date: Tue, 7 Jul 2020 15:14:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 19:42:08.885390
- Title: scb-mt-en-th-2020: A Large English-Thai Parallel Corpus
- Title（参考訳）: scb-mt-en-th-2020:大英タイパラレルコーパス
- Authors: Lalita Lowphansirikul, Charin Polpanumas, Attapol T. Rutherford and
Sarana Nutanong
- Abstract要約: 我々は100万以上のセグメント対を持つ英タイ機械翻訳データセットを構築した。
このデータセットに基づいて機械翻訳モデルを訓練する。
データセット、事前トレーニングされたモデル、私たちの作業を再現するソースコードは、パブリックに利用できます。
- 参考スコア（独自算出の注目度）: 3.3072037841206354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The primary objective of our work is to build a large-scale English-Thai
dataset for machine translation. We construct an English-Thai machine
translation dataset with over 1 million segment pairs, curated from various
sources, namely news, Wikipedia articles, SMS messages, task-based dialogs,
web-crawled data and government documents. Methodology for gathering data,
building parallel texts and removing noisy sentence pairs are presented in a
reproducible manner. We train machine translation models based on this dataset.
Our models' performance are comparable to that of Google Translation API (as of
May 2020) for Thai-English and outperform Google when the Open Parallel Corpus
(OPUS) is included in the training data for both Thai-English and English-Thai
translation. The dataset, pre-trained models, and source code to reproduce our
work are available for public use.
- Abstract（参考訳）: 我々の研究の主な目的は、機械翻訳のための大規模な英タイデータセットを構築することである。
我々は,ニュース,ウィキペディア記事,SMSメッセージ,タスクベースダイアログ,Webクロールデータ,政府文書など,さまざまなソースからキュレートされた100万以上のセグメントペアによる英タイ機械翻訳データセットを構築した。
データの収集、並列テキストの作成、ノイズ文ペアの除去のための方法論を再現可能な方法で提示する。
このデータセットに基づいて機械翻訳モデルを訓練する。
私たちのモデルのパフォーマンスは、タイ語と英語の両方の翻訳のトレーニングデータにOpen Parallel Corpus(OPUS)が含まれている場合、Google翻訳API(2020年5月現在)に匹敵する。
データセット、事前トレーニングされたモデル、私たちの作業を再現するソースコードは、パブリックに利用できます。
関連論文リスト
- Multilingual Diversity Improves Vision-Language Representations [66.41030381363244]
このデータセットの事前トレーニングは、ImageNet上で英語のみまたは英語が支配するデータセットを使用してパフォーマンスが向上する。
GeoDEのような地理的に多様なタスクでは、アフリカから得られる最大の利益とともに、すべての地域における改善も観察します。
論文 参考訳（メタデータ） (2024-05-27T08:08:51Z) - Setting up the Data Printer with Improved English to Ukrainian Machine Translation [0.0]
ウクライナ語と英語の文の3M対のノイズの多い並列データセットを用いた翻訳システムを構築するためのレシピを提案する。
我々のデコーダのみのモデルであるDragomanは、FLORESデベロップメントセットのアーティファクトエンコーダ-デコーダモデルの性能を上回りました。
論文 参考訳（メタデータ） (2024-04-23T16:34:34Z) - A Tulu Resource for Machine Translation [3.038642416291856]
英語・トゥルー語翻訳のための最初の並列データセットを提案する。
トゥル語はインド南西部で約250万人が話されている。
パラレル・イングリッシュ・トゥルデータを使わずにトレーニングした我々のイングリッシュ・トゥルシステムは、Google Translateを19のBLEUポイントで上回っている。
論文 参考訳（メタデータ） (2024-03-28T04:30:07Z) - Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。
我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。
OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
論文 参考訳（メタデータ） (2023-05-04T12:21:52Z) - The Effect of Normalization for Bi-directional Amharic-English Neural
Machine Translation [53.907805815477126]
本稿では,比較的大規模なアムハラ語-英語並列文データセットを提案する。
我々は、既存のFacebook M2M100事前学習モデルを微調整することで、双方向のアムハラ語翻訳モデルを構築する。
その結果, 両方向のアンハラ語・英語機械翻訳の性能は, アンハラ語ホモホン文字の正規化により向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-27T07:18:53Z) - Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。
我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。
パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
論文 参考訳（メタデータ） (2021-09-28T11:22:38Z) - Multilingual Neural Semantic Parsing for Low-Resourced Languages [1.6244541005112747]
英語,イタリア語,日本語の新しい多言語意味解析データセットを提案する。
本研究では,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回ることを示す。
英語データのみに基づいて訓練されたセマンティクスは、イタリア語の文に対して44.9%の精度でゼロショットのパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-06-07T09:53:02Z) - Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。
大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。
WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
論文 参考訳（メタデータ） (2020-10-21T17:01:23Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z) - The Tatoeba Translation Challenge -- Realistic Data Sets for Low
Resource and Multilingual MT [0.0]
本稿では,何千もの言語ペアに対するトレーニングとテストデータを提供する機械翻訳のための新しいベンチマークの開発について述べる。
主な目標は、世界言語をより広範囲にカバーしたオープン翻訳ツールとモデルの開発をトリガーすることである。
論文 参考訳（メタデータ） (2020-10-13T13:12:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。