論文の概要: COILD: An Indic-Centric Parallel Corpus and Benchmark for Machine Translation Across Indian Languages
- arxiv url: http://arxiv.org/abs/2609.28826v1
- Date: Wed, 23 Sep 2026 22:19:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.596453
- Title: COILD: An Indic-Centric Parallel Corpus and Benchmark for Machine Translation Across Indian Languages
- Title（参考訳）: COILD: Indic-Centric Parallel Corpusとインド言語間の機械翻訳ベンチマーク
- Abstract要約: インド語の機械翻訳(MT)は、高品質でインデックス中心の並列コーパスと評価ベンチマークの不足により、依然として制限されている。
我々は,1億16百万件以上の人訳文対と人間検証文対からなる,インデックス中心の並列コーパスであるCOILDを提案する。
- 参考スコア（独自算出の注目度）: 37.98873050941724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine translation (MT) for Indian languages remains constrained by the limited availability of high-quality, Indic-centric parallel corpora and evaluation benchmarks. Existing multilingual resources are largely constructed from English-pivot content and often fail to capture the linguistic diversity, cultural complexity, and domain-specific characteristics of Indian languages. We present COILD, an Indic-centric parallel corpus comprising over 1.16 million human-translated and human-verified sentence pairs, covering 20 Indian language pairs across the Indo-Aryan, Dravidian, Tibeto-Burman, and Austro-Asiatic language families. The corpus is built entirely from original Indian language sources collected from licensed repositories spanning eight domains with direct real-world applicability. Furthermore, we introduce a domain-centric benchmark comprising 2,000 expert-verified sentences to enable consistent multilingual and cross-lingual evaluation across Indian language pairs. To validate the effectiveness of COILD, we fine-tune two representative multilingual neural machine translation models, IndicTrans2-Distilled and NLLB-200. Experimental results demonstrate consistent improvements across language pairs, domains, automatic evaluation metrics, and human evaluation, highlighting the effectiveness of high-quality Indic-centric supervision. COILD provides a valuable training and evaluation resource for advancing multilingual machine translation and future multilingual language models for Indian languages.
- Abstract（参考訳）: インド語の機械翻訳(MT)は、高品質でインデックス中心の並列コーパスと評価ベンチマークの不足により、依然として制限されている。
既存の多言語資源は、主に英語とピボットのコンテンツから構築されており、しばしばインドの言語の多様性、文化的な複雑さ、ドメイン固有の特徴を捉えられなかった。
我々は,インド・アーリア語,ドラビディア語,チベット・ビルマン語,オーストリア・アジア語族にまたがる20のインド語対を網羅する,116万以上の人訳文対と人間検証文対からなる,インド中心の並列コーパスであるCOILDを提案する。
コーパスは8つのドメインにまたがるライセンス付きリポジトリから収集された、インドのオリジナルの言語ソースから構築されている。
さらに、2000の専門家が検証した文からなるドメイン中心のベンチマークを導入し、インド語対における多言語および多言語間の一貫した評価を可能にする。
COILDの有効性を検証するため、IndicTrans2-DistilledとNLLB-200の2つの代表的多言語ニューラルマシン翻訳モデルを微調整した。
実験結果から,言語ペア,ドメイン,自動評価指標,人的評価における一貫した改善が示され,高品質なインデックス中心監視の有効性が示された。
COILDは、インド語の多言語機械翻訳と将来の多言語言語モデルを進める上で、貴重なトレーニングと評価資源を提供する。
関連論文リスト
- Leveraging the Cross-Domain & Cross-Linguistic Corpus for Low Resource NMT: A Case Study On Bhili-Hindi-English Parallel Corpus [3.435561406656216]
インドにおける言語的な多様性は、特にビリ語のような少数民族言語に対して、機械翻訳に重大な課題をもたらす。
本稿では,Bhili-Hindi-English Parallel Corpus (BH EPC)について述べる。
BH EPCは教育、管理、ニュースといった重要な領域にまたがっており、低リソース機械翻訳の研究のための貴重なベンチマークを確立している。
論文 参考訳（メタデータ） (2025-11-01T10:39:56Z) - CorIL: Towards Enriching Indian Language to Indian Language Parallel Corpora and Machine Translation Systems [18.521673953685575]
インドの言語風景は世界でも最も多様であり、120以上の主要言語と1,600以上の追加言語から構成されている。
最近の多言語ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、インドの言語に対する高品質な並列コーパスは依然として乏しい。
本稿では,11言語を対象とした大規模で高品質な並列コーパスを提案する。
論文 参考訳（メタデータ） (2025-09-24T09:48:26Z) - Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。
これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
論文 参考訳（メタデータ） (2024-08-01T04:56:13Z) - Fine-tuning Pre-trained Named Entity Recognition Models For Indian Languages [6.7638050195383075]
課題を分析し,インド語の多言語名称認識に適した手法を提案する。
主要な2つのインド語族から4つのインド語に対する40K文の注釈付きエンティティコーパスを提示する。
我々は、我々のモデルの有用性を裏付けるインド言語のための、全く見当たらないベンチマークデータセットにおいて、同等のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-05-08T05:54:54Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳（メタデータ） (2023-09-19T14:42:33Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - A Multilingual Parallel Corpora Collection Effort for Indian Languages [43.62422999765863]
インドではヒンディー語、テルグ語、タミル語、マラヤラム語、グジャラート語、ウルドゥー語、ベンガル語、オリヤ語、マラティー語、パンジャービ語、英語の10言語に平行なコーパスを提示する。
コーパスは、言語間でコンテンツを共有するオンラインソースからコンパイルされる。
論文 参考訳（メタデータ） (2020-07-15T14:00:18Z) - Knowledge Distillation for Multilingual Unsupervised Neural Machine
Translation [61.88012735215636]
unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。
UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。
本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
論文 参考訳（メタデータ） (2020-04-21T17:26:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。