論文の概要: Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs

• arxiv url: http://arxiv.org/abs/2610.26006v1
• Date: Mon, 19 Oct 2026 08:30:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:16:07.115504
• Title: Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs
• Title（参考訳）: シンセティック・プレトレーニングデータのスケーリングとインディクティブ・LCMの評価
• Abstract要約: インドで有能な言語モデルを構築するには、スケーラブルな多言語データと堅牢な評価が必要である。 Nemotron-Pretraining-Indic-v1 約2.83兆のトークンからなる合成事前訓練コーパス。 Indic-LLM-Eval-Suiteは、チャット、命令フォロー、推論、知識、コード、翻訳でIndic言語モデルを評価するための多言語ベンチマークスイートである。
• 参考スコア（独自算出の注目度）: 27.222409022935242
• License:
• Abstract: Building capable language models for India requires scalable multilingual data and robust evaluation. We introduce Nemotron-Pretraining-Indic-v1, a synthetic pretraining corpus of approximately 2.83 trillion tokens covering all 22 scheduled Indian languages in native script and twelve in romanized form. It is the largest openly released Indic pretraining corpus. Using our GPU-accelerated pipeline, we translate curated English documents, assess translation quality, and repair low-quality outputs while preserving technical content and document structure and maintaining source traceability. Through continued-pretraining experiments across twelve languages, we show that combining our synthetic corpus with natural Indic text improves knowledge and reasoning over a public-corpus baseline. Additional experiments show how data volume, script coverage, and Indic training share affect English performance. We also introduce the Indic-LLM-Eval-Suite, a multilingual benchmark suite for evaluating Indic language models across chat, instruction following, reasoning, knowledge, code, and translation. The suite combines existing Indic benchmarks with task-aware translations of English benchmarks, using automated quality assessment, targeted correction, and native-speaker review in a human-in-the-loop pipeline. We use the suite to comprehensively benchmark contemporary open-weight Indic and multilingual models across capabilities and languages, revealing substantial variation across tasks and languages. Together, these resources provide a scalable foundation for developing and evaluating more capable Indic language models.
• Abstract（参考訳）: インドで有能な言語モデルを構築するには、スケーラブルな多言語データと堅牢な評価が必要である。 我々はNemotron-Pretraining-Indic-v1を紹介した。これは22のインディアン言語をネイティブスクリプトで、12のロマン化形式でカバーする約2.83兆のトークンからなる合成事前訓練コーパスである。 オープンリリースのIndic Pretraining Corpusとしては最大である。 GPUを高速化したパイプラインを使用して、キュレーションされた英語文書を翻訳し、翻訳品質を評価し、技術内容と文書構造を保存し、ソーストレーサビリティを維持しながら、低品質の出力を修復する。 12言語にわたる継続的な事前学習実験を通じて、我々の合成コーパスと自然なIndicテキストを組み合わせることで、公開コーパスベースラインに対する知識と推論が向上することを示す。 追加の実験では、データボリューム、スクリプトカバレッジ、インデックストレーニングの共有が英語のパフォーマンスにどのように影響するかが示されている。 Indic-LLM-Eval-Suiteは、チャット、命令追従、推論、知識、コード、翻訳にまたがるIndic言語モデルを評価するための多言語ベンチマークスイートである。 このスイートは、既存のIndicベンチマークと、自動品質評価、ターゲット修正、ヒューマン・イン・ザ・ループパイプラインでのネイティブ・スピーカーレビューといった、英語ベンチマークのタスク対応翻訳を組み合わせたものだ。 このスイートを使用して、機能や言語をまたいだ、同時代のオープンウェイトなIndicおよびマルチ言語モデルのベンチマークを行い、タスクや言語間でのかなりのバリエーションを明らかにします。 これらのリソースは、より有能なIndic言語モデルの開発と評価のためのスケーラブルな基盤を提供する。

関連論文リスト

• BhashaKritika: Building Synthetic Pretraining Data at Scale for Indic Languages [4.279942349440352]
  Indic言語のための合成多言語事前学習データの生成と評価に関する体系的研究を行う。 大規模な合成データセットBhashaKritikaを構築し,10言語で5つの異なる手法を用いて540Bトークンを構成する。 我々は、プロンプト命令と文書のグラウンド化の両方において、言語選択がデータ品質にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2025-11-13T14:12:44Z)
• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• Krutrim LLM: A Novel Tokenization Strategy for Multilingual Indic Languages with Petabyte-Scale Data Processing [0.9517284168469607]
  我々は,多言語Indic大言語モデル構築のためのデータ準備のための新しいアプローチを開発する。 われわれの厳密なデータ取得は、Common Crawl、Indic Book、ニュース記事、Wikipediaなど、オープンソースとプロプライエタリなソースにまたがっている。 Indic言語毎に、冗長で低品質なテキストコンテンツを効果的に除去するカスタムプリプロセッシングパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-07-17T11:06:27Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Towards Leaving No Indic Language Behind: Building Monolingual Corpora, Benchmark and Models for Indic Languages [19.91781398526369]
  3つの重要な軸に沿ってコントリビューションを行うことで、Indic言語のNLU機能を改善することを目指している。 具体的には、4つの言語ファミリーの24言語をカバーする20.9Bトークンで、最大のモノリンガルコーパスであるIndicCorpをキュレートする。 我々は、20言語をカバーする9つの異なるNLUタスクからなる人間によるベンチマークIndicXTREMEを作成する。 言語やタスク全体にわたって、IndicXTREMEには合計105の評価セットが含まれており、そのうち52が新たな文献への貢献である。
  論文  参考訳（メタデータ） (2022-12-11T04:45:50Z)
• IndicXNLI: Evaluating Multilingual Inference for Indian Languages [9.838755823660147]
  IndicXNLIは11のIndic言語のためのNLIデータセットである。 IndicXNLIで事前学習した異なるLMを微調整することにより、様々な言語間移動手法を解析する。 これらの実験は、様々な言語に対する事前学習されたモデルの振る舞いに関する有用な洞察を提供する。
  論文  参考訳（メタデータ） (2022-04-19T09:49:00Z)
• Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
  現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。 前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。 本稿では,ラベルのないデータを利用して性能を向上する。
  論文  参考訳（メタデータ） (2021-05-08T08:04:30Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus [57.641761472372814]
  CoVoSTは11言語から英語への多言語による音声からテキストへの翻訳コーパスである。 11,000人以上の話者と60以上のアクセントで多様化した。 CoVoSTはCC0ライセンスでリリースされており、無料で利用できる。
  論文  参考訳（メタデータ） (2020-02-04T14:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。