論文の概要: EnSiTa - A Trilingual Multi-Domain Parallel Dataset and Benchmark for Domain-Specific Machine Translation
- arxiv url: http://arxiv.org/abs/2609.29511v1
- Date: Tue, 25 Aug 2026 05:44:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.051622
- Title: EnSiTa - A Trilingual Multi-Domain Parallel Dataset and Benchmark for Domain-Specific Machine Translation
- Title(参考訳): EnSiTa - ドメイン特化機械翻訳のための3言語マルチドメイン並列データセットとベンチマーク
- Abstract要約: 本稿では,英語,シンハラ語,タミル語の3言語並列データセットであるEnSiTaについて述べる。
EnSiTaは、7つのドメインに対して人間が編集後トレーニングデータを提供し、それに加えて、手動で変換されたテストセットと1つの追加ドメインを提供する。
- 参考スコア(独自算出の注目度): 4.381320039904621
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Translation (MT) for low-resource languages remains far behind that of high-resource languages, and the gap is widest in specialised domains, where parallel data is scarce or entirely absent. We present EnSiTa, a trilingual multi-domain parallel dataset and benchmark for English, Sinhala and Tamil. EnSiTa provides human post-edited training data for seven domains, plus manually translated test sets for those and one additional domain, all produced by professional translators under a multi-year, rigorously quality-controlled process. Using this dataset, we conduct an extensive study of domain-specific MT for all six language directions, fine-tuning a from-scratch Transformer, a pre-trained translation model (NLLB-600M), and decoder-only LLMs (Gemma 3 family, 1B-12B, and TranslateGemma) across training-data sizes, model scales, and in-domain, cross-domain, multilingual and multi-domain settings. To the best of our knowledge, this is the most extensive systematically documented multi-domain parallel data creation and benchmarking effort for low-resource MT. Our data and models will be publicly released.
- Abstract(参考訳): 低リソース言語のための機械翻訳(MT)は、高リソース言語のそれよりもはるかに遅れており、並列データが不足または完全に欠落している専門分野において、ギャップが最も広い。
本稿では,英語,シンハラ語,タミル語の3言語並列データセットであるEnSiTaについて述べる。
EnSiTaは、7つのドメインに対して人間が編集したトレーニングデータに加えて、手動で翻訳されたテストセットと1つの追加のドメインを提供する。
このデータセットを用いて,6つの言語方向のドメイン固有MT, from-scratch Transformer, pre-trained translation model (NLLB-600M), decoder-only LLMs (Gemma 3 family, 1B-12B, TranslateGemma) を訓練データサイズ,モデルスケール,ドメイン内,クロスドメイン,多言語,マルチドメイン設定で詳細に検討した。
我々の知る限り、これは、マルチドメイン並列データ作成および低リソースMTのためのベンチマークの取り組みとして、最も広く体系化された文書化です。我々のデータとモデルは、公開されます。
関連論文リスト
- From Unaligned to Aligned: Scaling Multilingual LLMs with Multi-Way Parallel Corpora [80.0547333327488]
TED Talks に基づく大規模かつ高品質なマルチウェイ並列コーパス TED2025 を導入する。
このデータセットは113の言語にまたがっており、最大50の言語が並列に並び、広範囲にわたるマルチリンガルカバレッジを保証する。
実験により、マルチウェイ並列データでトレーニングされたモデルは、不整合多言語データでトレーニングされたモデルよりも一貫して優れていた。
論文 参考訳(メタデータ) (2025-05-20T07:43:45Z) - Beyond Vanilla Fine-Tuning: Leveraging Multistage, Multilingual, and Domain-Specific Methods for Low-Resource Machine Translation [1.9639956888747314]
本稿では,大規模言語モデル(msLLM)の適応のための2つのアプローチを提案することによって,人工知能に寄与する。
工学的な応用として、これらの手法は、ドメイン固有の極低リソース設定において、シンハラ、タミル、英語(6つの言語対)のNTTシステムで実装される。
実験の結果,これらの手法は,標準の単一段階微調整ベースラインに比べて平均+1.47バイリンガル評価アンダースタディ(BLEU)スコアで翻訳性能を向上させることがわかった。
論文 参考訳(メタデータ) (2025-03-28T16:30:28Z) - Exploiting Domain-Specific Parallel Data on Multilingual Language Models for Low-resource Language Translation [0.6467856992131628]
ドメイン固有NMTモデル構築における補助領域からの並列データの有効性を評価する。
NMTモデルの性能に対する領域分散の影響について検討する。
ドメイン固有NMTモデルの構築において補助並列データを利用するためのいくつかの戦略を推奨する。
論文 参考訳(メタデータ) (2024-12-27T08:25:52Z) - Multilingual Pretraining Using a Large Corpus Machine-Translated from a Single Source Language [34.54405113575568]
1つの高品質なソース言語から機械翻訳されたテキストは、多言語モデルの事前学習に大きく貢献する。
クアトロLLMは、クローズドデータを用いて訓練された最先端の多言語モデルと一致し、より優れることを示す。
私たちは、hf.co/britllm/CuatroLLMでオープンライセンスの下で、コーパス、モデル、トレーニングパイプラインをリリースしています。
論文 参考訳(メタデータ) (2024-10-31T14:09:50Z) - Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning [55.107329995417786]
大規模言語モデル(LLM)は、目覚ましい一般的な理解と生成能力を示している。
我々は、25のドイツ語$Leftrightarrow$ Englishと22の中国語$Leftrightarrow$ Englishテストセットを特徴とするマルチドメイン翻訳のベンチマークを確立する。
本稿では,LLMの内在的マルチドメインインテリジェンスを活用し,翻訳性能を向上させるためのドメインチェーン・オブ・シント(CoT)ファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2024-10-03T16:15:04Z) - Domain-Specific Text Generation for Machine Translation [7.803471587734353]
ドメイン固有データ拡張のための最先端事前学習言語モデル(LM)を利用したドメイン適応手法を提案する。
我々は、ドメイン内テキストの翻訳を大幅に改善するモデルを訓練するために、混合微調整を用いています。
論文 参考訳(メタデータ) (2022-08-11T16:22:16Z) - Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural
Machine Translation [74.158365847236]
SixT++は、100のソース言語をサポートする強力な多言語NMTモデルであるが、たった6つのソース言語からの並列データセットで一度トレーニングされている。
CRISSとm2m-100は、それぞれ7.2と5.0BLEUの2つの強い多言語NMTシステムより大幅に優れていた。
論文 参考訳(メタデータ) (2021-10-16T10:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。