論文の概要: ks-pret-5m: a 5 million word, 12 million token kashmiri pretraining dataset
- arxiv url: http://arxiv.org/abs/2604.11066v1
- Date: Mon, 13 Apr 2026 06:46:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.36908
- Title: ks-pret-5m: a 5 million word, 12 million token kashmiri pretraining dataset
- Title（参考訳）: ks-pret-5m:500万ワード、1200万トークンカシュミリ事前学習データセット
- Abstract要約: KS-PRET-5Mは、カシュミリ語で利用可能な最大の事前訓練データセットである。
単語は5,090,244 (5.09M)、文字は27,692,959 (27.6M)、語彙は295,433 (295.4K)である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present KS-PRET-5M, the largest publicly available pretraining dataset for the Kashmiri language, comprising 5,090,244 (5.09M) words, 27,692,959 (27.6M) characters, and a vocabulary of 295,433 (295.4K) unique word types. We assembled the dataset from two source classes: digitized archival and literary material, encompassing literature, news, biographies, novels, poetry, religious scholarship, and academic writing, recovered from the proprietary InPage desktop-publishing format using the converter of Malik~\cite{malik2024inpage}, and Unicode-native text collected from Kashmiri-language web sources. All text was processed through an eleven-stage cleaning pipeline that achieves a mean Kashmiri script ratio of 0.9965, reducing Devanagari contamination to 146 characters across the full dataset. We tokenized the dataset empirically using google/muril-base-cased, yielding a subword ratio of 2.383 tokens per word and a total of approximately 12.13 million subword tokens, substantially higher than prior estimates derived from non-Kashmiri Perso-Arabic analogues. KS-PRET-5M is released as a single continuous text stream under CC~BY~4.0 to support language model pretraining, tokenizer training, and computational linguistic research for Kashmiri.
- Abstract（参考訳）: KS-PRET-5Mは,5,090,244 (5.09M) ワード,27,692,959 (27.6M) 文字,295,433 (295.4K) 独自の単語タイプからなる,カシュミリ語のための最大公用事前学習データセットである。
文献,ニュース,伝記,小説,詩,宗教学,学術的著作を包含するデジタルアーカイブと文学の2つのクラスからデータセットを収集し,Malik~\cite{malik2024inpage}のコンバータを用いて独自のInPageデスクトップ出版フォーマットから復元し,KashmiriのWebソースから収集したUnicodeネイティブテキストを収集した。
すべてのテキストは11段階のクリーニングパイプラインを通じて処理され、平均的なカシュミリ文字比率は0.9965であり、デバナガリの汚染は全データセットで146文字に減少した。
我々は,google/muril-base-casedを用いて,単語毎のサブワード比2.383トークンと約12.13万サブワードトークンを経験的にトークン化した。
KS-PRET-5Mは、CC~BY〜4.0の下で単一の連続テキストストリームとしてリリースされ、言語モデルの事前訓練、トークン化のトレーニング、カシミリのための計算言語研究をサポートする。
関連論文リスト
- Koshur Pixel: a large-scale synthetic ocr dataset for kashmiri [0.0]
我々は、Kashmiriのための最初の大規模合成OCRデータセットであるKoshur Pixelを紹介する。
Koshur Pixelは、SynthOCR-Genフレームワークを使用してKS-PRET-5Mコーパスから生成された613,078の画像テキストペアで構成されている。
論文 参考訳（メタデータ） (2026-06-22T10:42:36Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - Chitrakshara: A Large Multilingual Multimodal Dataset for Indian languages [2.592717137976924]
我々は、Common Crawlから派生した11のインド言語をカバーするChitraksharaデータセットシリーズを紹介した。
1)Chitrakshara-ILは193M画像,30Bテキストトークン,50M多言語文書を備えた大規模インターリーブ事前学習データセットであり,(2)Chitrakshara-Capは743M画像テキストペアと44M画像テキストペアを含む。
論文 参考訳（メタデータ） (2026-03-06T15:01:25Z) - ks-lit-3m: A 3.1 million word kashmiri text dataset for large language model pretraining [0.0]
本稿では,KS-LIT-3Mについて紹介する。KS-LIT-3MはKashmiri上での事前学習用に特別に設計された3100万語(164万文字)のコーパスである。
データセットはCC-BY-4.0ライセンスでリリースされ、Kashmiri自然言語処理の研究を容易にする。
論文 参考訳（メタデータ） (2026-01-03T06:43:26Z) - InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning [58.7966588457529]
InfiMM-WebMath-40Bは、インターリーブされた画像テキスト文書の高品質なデータセットである。
ウェブページは2400万、画像URLは8500万、テキストトークンは400億だ。
テキストのみのベンチマークでは,400億トークンしか利用していないにもかかわらず,データセットは1.3Bモデルの性能を大幅に向上させることが示された。
私たちのモデルは、MathVerseやWe-Mathといったマルチモーダルな数学ベンチマーク上で、オープンソースモデルの中で新しい最先端のモデルを設定しました。
論文 参考訳（メタデータ） (2024-09-19T08:41:21Z) - AceParse: A Comprehensive Dataset with Diverse Structured Texts for Academic Literature Parsing [82.33075210051129]
AceParseは構造化テキストのパースをサポートするために設計された最初の包括的なデータセットである。
AceParseに基づいて、さまざまな構造化テキストを正確に解析するマルチモーダルモデルAceを微調整した。
このモデルは、F1スコアで4.1%、ジャカルド類似度で5%、以前の最先端技術よりも優れていた。
論文 参考訳（メタデータ） (2024-09-16T06:06:34Z) - Data Engineering for Scaling Language Models to 128K Context [98.41554785106902]
本研究では,言語モデルの文脈長を128Kまで拡張するための継続事前学習法について検討する。
既存の作業の一般的な実践である書籍のような特定のドメインで、より長いデータを鼻でサンプリングすることで、パフォーマンスが最適以下であることが分かりました。
我々のレシピは強力なオープンソース長文モデルより優れており、GPT-4 128Kのようなフロンティアモデルとのギャップを埋めている。
論文 参考訳（メタデータ） (2024-02-15T18:19:16Z) - MegaWika: Millions of reports and their sources across 50 diverse
languages [74.3909725023673]
MegaWikaは、50の言語で1300万のWikipedia記事と、7100万の参考資料で構成されている。
我々は、このデータセットを無数のアプリケーションに処理し、非英語の記事を言語間アプリケーションに翻訳する。
MegaWikaは、文レベルのレポート生成のための最大のリソースであり、マルチランガルである唯一のレポート生成データセットである。
論文 参考訳（メタデータ） (2023-07-13T20:04:02Z) - A Benchmark and Dataset for Post-OCR text correction in Sanskrit [23.45279030301887]
サンスクリット語は古典言語であり、約3000万の写本がデジタル化に適合している。
我々は,30冊の書籍から約218,000文,150万語を含むOCR後テキスト修正データセットを作成した。
論文 参考訳（メタデータ） (2022-11-15T08:32:18Z) - ASR2K: Speech Recognition for Around 2000 Languages without Audio [100.41158814934802]
対象言語に音声を必要としない音声認識パイプラインを提案する。
私たちのパイプラインは、音響、発音、言語モデルという3つのコンポーネントで構成されています。
我々は、1909年の言語をCrubadanと組み合わせて、大きな絶滅危惧言語n-gramデータベースを構築した。
論文 参考訳（メタデータ） (2022-09-06T22:48:29Z) - Towards Deployable OCR models for Indic languages [33.6638069612644]
Connectionist Temporal Classification (CTC) を用いた非セグメンテーション配列のモデル化は、セグメンテーションフリーなOCRにおいて最もよく用いられる手法である。
本稿では,CTCを用いたニューラルネットワーク出力のステップワイズ予測をUnicodeシーケンスに変換するニューラルネットワークモデルについて述べる。
インド語の単語と行認識のための、Mozhiと呼ばれる新しいパブリックデータセットも導入しました。
論文 参考訳（メタデータ） (2022-05-13T16:19:21Z) - Aksharantar: Open Indic-language Transliteration datasets and models for
the Next Billion Users [32.23606056944172]
Aksharantarは、モノリンガルコーパスとパラレルコーパスからのマイニングによって生成された、インド語のための最大公用翻訳データセットである。
データセットには、12のスクリプトを使用して、3つの言語ファミリーから21のIndic言語に対する2600万の文字ペアが含まれている。
Aksharantarは、既存のデータセットの21倍の大きさで、7つの言語と1つの言語ファミリーのための最初の公開データセットである。
論文 参考訳（メタデータ） (2022-05-06T05:13:12Z) - Comprehensive Benchmark Datasets for Amharic Scene Text Detection and
Recognition [56.048783994698425]
Ethiopic/Amharicスクリプトはアフリカ最古の書記システムの一つで、東アフリカで少なくとも23の言語に対応している。
アムハラ語の表記体系である Abugida は282音節、15句の句読点、20の数字を持つ。
HUST-ART, HUST-AST, ABE, Tana という,自然界におけるアムハラ文字の検出と認識のための総合的な公開データセットを提示した。
論文 参考訳（メタデータ） (2022-03-23T03:19:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。