論文の概要: Multilingual TinyStories: A Synthetic Combinatorial Corpus of Indic Children's Stories for Training Small Language Models

• arxiv url: http://arxiv.org/abs/2603.14563v1
• Date: Sun, 15 Mar 2026 19:31:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.887095
• Title: Multilingual TinyStories: A Synthetic Combinatorial Corpus of Indic Children's Stories for Training Small Language Models
• Title（参考訳）: 多言語TinyStories:小言語モデルの学習のためのインディクティブ・チルドレンの物語を合成したコンビネーティブ・コーパス
• Authors: Deepon Halder, Angira Mukherjee,
• Abstract要約: TinyStoriesデータセット(TinyStories data)は、17のインド語を含む子供向け物語の大規模で合成的に生成された集合体である。 私たちはリリースで132,942のストーリーと939万のトークンをコンパイルしました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The development of robust language models for low-resource languages is frequently bottlenecked by the scarcity of high-quality, coherent, and domain-appropriate training corpora. In this paper, we introduce the Multilingual TinyStories dataset, a large-scale, synthetically generated collection of children's stories encompassing 17 Indian languages. Designed specifically for the training and evaluation of Small Language Models (SLMs), the corpus provides simple, narrative-driven text strictly localized to native scripts. We detail our hybrid curation pipeline, which leverages the Sarvam-M language model and a novel combinatorial prompt engineering framework for native generation, coupled with the Google Translate API for large-scale cross-lingual expansion. Through strict programmatic filtering, we compiled 132,942 stories and over 93.9 million tokens in our release, serving as a foundational resource for multilingual language modeling and transfer learning in the Indic linguistic sphere.
• Abstract（参考訳）: 低リソース言語のための堅牢な言語モデルの開発は、高品質、コヒーレント、ドメインに適したトレーニングコーパスの不足によってしばしばボトルネックとなる。 本稿では,17の言語を含む子どもの物語を大規模に合成した多言語TinyStoriesデータセットについて紹介する。 SLM(Small Language Models)のトレーニングと評価のために特別に設計されたこのコーパスは、単純な物語駆動のテキストをネイティブスクリプトに厳密にローカライズする。 本稿では,Sarvam-M言語モデルとネイティブ生成のための新しい組合せプロンプトエンジニアリングフレームワークを併用したハイブリッドキュレーションパイプラインと,大規模言語間拡張のためのGoogle Translate APIについて詳述する。 厳密なプログラムによるフィルタリングを通じて、132,942のストーリーと939万のトークンをリリースにコンパイルし、Indic言語圏における多言語言語モデリングと伝達学習の基礎となるリソースとして役立てた。

関連論文リスト

• Raising Bars, Not Parameters: LilMoo Compact Language Model for Hindi [9.65814816271915]
  LilMooは0.6ビリオンパラメータヒンディー語モデルである。 完全に透明で再現可能なパイプラインによって開発され、限られた計算環境向けに最適化されている。 総合的な評価スイート全体にわたって、LilMooは、相容れない大きさの多言語ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-03T20:31:25Z)
• Kakugo: Distillation of Low-Resource Languages into Small Language Models [18.888596863202377]
  Kakugoは、低リソース言語のための汎用小言語モデル(SLM)をトレーニングするために設計されたパイプラインである。 言語毎の総生成コストとトレーニングコストが50ドル未満のKakugoは、コミュニティが言語固有のAIを開発するための方法を提供している。
  論文  参考訳（メタデータ） (2026-01-20T15:05:44Z)
• Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research [139.69207791947738]
  ドルマ (Dolma) は、ウェブコンテンツ、科学論文、コード、パブリックドメインの書籍、ソーシャルメディア、百科事典の素材を多用した3トリルの英語コーパスである。 我々はDolmaの設計原則、その構築の詳細、内容の要約を含む、Dolmaを文書化します。 我々は、重要なデータキュレーションの実践について学んだことを共有するために、Dolmaの中間状態の分析と実験結果を示す。
  論文  参考訳（メタデータ） (2024-01-31T20:29:50Z)
• Paramanu: A Family of Novel Efficient Generative Foundation Language Models for Indian Languages [3.9018931027384056]
  インド語のための新しい言語モデル(LM)のファミリーである「Paramanu」を提示する。 10の言語(アッサム語、バングラ語、ヒンディー語、コンカニ語、マイティシ語、マラティ語、オディア語、サンスクリット語、タミル語、テルグ語)を5文字でカバーしている。 モデルは、コンテキストサイズが1024の1つのGPUで事前トレーニングされており、サイズは13.29万(M)から367.5Mまで様々である。
  論文  参考訳（メタデータ） (2024-01-31T17:58:10Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
  この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。 クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。 その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
  論文  参考訳（メタデータ） (2021-07-16T13:52:01Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• The Tatoeba Translation Challenge -- Realistic Data Sets for Low Resource and Multilingual MT [0.0]
  本稿では,何千もの言語ペアに対するトレーニングとテストデータを提供する機械翻訳のための新しいベンチマークの開発について述べる。 主な目標は、世界言語をより広範囲にカバーしたオープン翻訳ツールとモデルの開発をトリガーすることである。
  論文  参考訳（メタデータ） (2020-10-13T13:12:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。