論文の概要: CorIL: Towards Enriching Indian Language to Indian Language Parallel Corpora and Machine Translation Systems

• arxiv url: http://arxiv.org/abs/2509.19941v1
• Date: Wed, 24 Sep 2025 09:48:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.764907
• Title: CorIL: Towards Enriching Indian Language to Indian Language Parallel Corpora and Machine Translation Systems
• Title（参考訳）: CorIL:インド語からパラレルコーパスと機械翻訳システムへ
• Authors: Soham Bhattacharjee, Mukund K Roy, Yathish Poojary, Bhargav Dave, Mihir Raj, Vandan Mujadia, Baban Gain, Pruthwik Mishra, Arafat Ahsan, Parameswari Krishnamurthy, Ashwath Rao, Gurpreet Singh Josan, Preeti Dubey, Aadil Amin Kak, Anna Rao Kulkarni, Narendra VG, Sunita Arora, Rakesh Balbantray, Prasenjit Majumdar, Karunesh K Arora, Asif Ekbal, Dipti Mishra Sharma,
• Abstract要約: インドの言語風景は世界でも最も多様であり、120以上の主要言語と1,600以上の追加言語から構成されている。 最近の多言語ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、インドの言語に対する高品質な並列コーパスは依然として乏しい。 本稿では,11言語を対象とした大規模で高品質な並列コーパスを提案する。
• 参考スコア（独自算出の注目度）: 18.521673953685575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: India's linguistic landscape is one of the most diverse in the world, comprising over 120 major languages and approximately 1,600 additional languages, with 22 officially recognized as scheduled languages in the Indian Constitution. Despite recent progress in multilingual neural machine translation (NMT), high-quality parallel corpora for Indian languages remain scarce, especially across varied domains. In this paper, we introduce a large-scale, high-quality annotated parallel corpus covering 11 of these languages : English, Telugu, Hindi, Punjabi, Odia, Kashmiri, Sindhi, Dogri, Kannada, Urdu, and Gujarati comprising a total of 772,000 bi-text sentence pairs. The dataset is carefully curated and systematically categorized into three key domains: Government, Health, and General, to enable domain-aware machine translation research and facilitate effective domain adaptation. To demonstrate the utility of CorIL and establish strong benchmarks for future research, we fine-tune and evaluate several state-of-the-art NMT models, including IndicTrans2, NLLB, and BhashaVerse. Our analysis reveals important performance trends and highlights the corpus's value in probing model capabilities. For instance, the results show distinct performance patterns based on language script, with massively multilingual models showing an advantage on Perso-Arabic scripts (Urdu, Sindhi) while other models excel on Indic scripts. This paper provides a detailed domain-wise performance analysis, offering insights into domain sensitivity and cross-script transfer learning. By publicly releasing CorIL, we aim to significantly improve the availability of high-quality training data for Indian languages and provide a valuable resource for the machine translation research community.
• Abstract（参考訳）: インドの言語景観は世界でも最も多様であり、120以上の主要言語と約1,600の追加言語からなり、22の言語が公式にインド憲法でスケジュール言語として認められている。 最近の多言語ニューラルマシン翻訳(NMT)の進歩にもかかわらず、インドの言語のための高品質な並列コーパスは、特に様々な領域において不足している。 本稿では, 英語, Telugu, Hindi, Punjabi, Odia, Kashmiri, Sindhi, Dogri, Kannada, Urdu, Gujaratiの11言語を対象に, 772,000文文対からなる大規模で高品質な並列コーパスを提案する。 データセットを慎重にキュレートし、体系的に3つの重要なドメインに分類する。 CorILの実用性を実証し、将来の研究のための強力なベンチマークを確立するため、IndicTrans2、NLLB、BhashaVerseなどの最先端NMTモデルを微調整し、評価する。 分析によって重要なパフォーマンストレンドが明らかになり,探索モデル能力におけるコーパスの価値が強調される。 例えば、結果は言語スクリプトに基づいて異なるパフォーマンスパターンを示し、多言語モデルはペルソ・アラビア文字(ウルドゥー語、シンディー語)に有利である一方、他のモデルはIndicスクリプトに優れている。 本稿では、ドメインの感度とクロススクリプト・トランスファー学習に関する知見を提供する。 CorILを一般公開することで、インドの言語における高品質なトレーニングデータの可用性を大幅に向上し、機械翻訳研究コミュニティにとって貴重なリソースを提供することを目指している。

関連論文リスト

• Towards Building Large Scale Datasets and State-of-the-Art Automatic Speech Translation Systems for 14 Indian Languages [27.273651323572786]
  BhasaAnuvaadは、インドの言語で最大の音声翻訳データセットで、4400万時間以上のオーディオと1700万行のテキストセグメントにまたがる。 本実験は, 翻訳品質の向上を実証し, インド語音声翻訳の新しい標準を設定した。 アクセシビリティとコラボレーションを促進するために、許容ライセンス付きのすべてのコード、データ、モデルの重みをオープンソースでリリースします。
  論文  参考訳（メタデータ） (2024-11-07T13:33:34Z)
• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• Fine-tuning Pre-trained Named Entity Recognition Models For Indian Languages [6.7638050195383075]
  課題を分析し,インド語の多言語名称認識に適した手法を提案する。 主要な2つのインド語族から4つのインド語に対する40K文の注釈付きエンティティコーパスを提示する。 我々は、我々のモデルの有用性を裏付けるインド言語のための、全く見当たらないベンチマークデータセットにおいて、同等のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-05-08T05:54:54Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India [33.31556860332746]
  PMIndiaSumは、インドの言語に焦点を当てた多言語および大規模並列要約コーパスである。 私たちのコーパスは、4つの言語ファミリー、14の言語、196の言語ペアを持つ最大規模のトレーニングとテストの場を提供します。
  論文  参考訳（メタデータ） (2023-05-15T17:41:15Z)
• Harnessing Cross-lingual Features to Improve Cognate Detection for Low-resource Languages [50.82410844837726]
  言語間単語埋め込みを用いた14言語間のコニャートの検出を実証する。 インドの12言語からなる挑戦的データセットを用いて,コニャート検出手法の評価を行った。 我々は,コグネート検出のためのFスコアで最大18%の改善点を観察した。
  論文  参考訳（メタデータ） (2021-12-16T11:17:58Z)
• A Multilingual Parallel Corpora Collection Effort for Indian Languages [43.62422999765863]
  インドではヒンディー語、テルグ語、タミル語、マラヤラム語、グジャラート語、ウルドゥー語、ベンガル語、オリヤ語、マラティー語、パンジャービ語、英語の10言語に平行なコーパスを提示する。 コーパスは、言語間でコンテンツを共有するオンラインソースからコンパイルされる。
  論文  参考訳（メタデータ） (2020-07-15T14:00:18Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。