論文の概要: BrahmicTokenizer-131K: An Indic-Capable Drop-In Replacement for o200k_base
- arxiv url: http://arxiv.org/abs/2605.29379v1
- Date: Thu, 28 May 2026 05:29:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:55.759055
- Title: BrahmicTokenizer-131K: An Indic-Capable Drop-In Replacement for o200k_base
- Title（参考訳）: BrahmicTokenizer-131K:o200k_baseのインデックス対応ドロップイン交換
- Authors: Rohan Shravan,
- Abstract要約: BrahmicTokenizer-131Kは131,072バイトレベルのBPEトークンである。
131K語彙クラスのブラフミック圧縮ギャップを閉じる。
OpenAIのo200k_baseの英語、EU言語、コード圧縮を保存する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present BrahmicTokenizer-131K, a 131,072-vocabulary byte-level BPE tokenizer that closes the Brahmic compression gap at the 131K-vocabulary class while preserving the English, EU-language, and code compression of OpenAI's o200k_base. We construct it through a two-stage retrofit: (1) a script-prune crop that reduces 200,019 tokens to 131,072 by removing nine out-of-scope writing systems, and (2) a surgical retrofit of 2,372 corpus-dead vocabulary slots determined by linear-programming allocation across nine Brahmic Unicode blocks. The pre-tokenizer, decoder, and inherited merge rules are unchanged from o200k_base, making BrahmicTokenizer-131K a drop-in replacement at the tokenizer interface. On 27 million documents of public Indic pretraining text (2.84 billion words, 46.21 GB), BrahmicTokenizer-131K produces 26.7% fewer tokens than Mistral-Nemo Tekken / Sarvam-m at the same vocabulary budget, with per-language savings of 15.79% (Tamil) to 76.79% (Odia, a 4.31x compression ratio). The Odia advantage is mechanistically explained by Tekken/Sarvam-m containing zero Oriya-block tokens; our surgery added 725. On non-Indic content, BrahmicTokenizer-131K matches o200k_base's English fertility (1.235 vs 1.232 tokens/word) and beats Tekken/Sarvam-m by 4.0-14.2% on HumanEval, MBPP, and GSM8K. Across our 14-tokenizer benchmark, it is the only tokenizer simultaneously competitive on Brahmic, English, EU, code, and math at the 131K budget. Specialist tokenizers at other vocab classes (Sarvam-30B, Sarvam-1, MUTANT-Indic) achieve better Indic compression at the cost of non-Indic performance: Sarvam-1's English fertility is 15.9% worse and its code/math compression 26-33% worse than ours. We release the artifact under Apache 2.0 at https://huggingface.co/theschoolofai/BrahmicTokenizer-131K.
- Abstract（参考訳）: 本稿では、131,072語彙のBPEトークンであるBrahmicTokenizer-131Kについて、英語、EU言語、およびOpenAIのo200k_baseのコード圧縮を保ちながら、131K語彙クラスのBrahmic圧縮ギャップを閉じる。
筆者らは,(1) スコープ外書き込みシステムを取り除き,200,019個のトークンを131,072個に減らしたスクリプトキュウリ,(2) 9個のブラフミックUnicodeブロックに線形プログラミングを割り当てることによって決定された2,372個のコーパス・デッド語彙スロットの外科的再構成を行った。
プリトケナイザ、デコーダ、および継承されたマージルールは、o200k_baseから変更されず、BrahmicTokenizer-131Kがトークン化インターフェースのドロップイン置換となる。
2700万のIndic事前訓練用テキスト(2.84億ワード、46.21GB)で、BrahmicTokenizer-131KはMistral-Nemo Tekken/Sarvam-mよりも26.7%少ないトークンを同じ語彙予算で生成し、言語単位の保存率は15.79%(タミル)から76.79%(インドの4.31倍圧縮率)である。
Odiaの利点はTekken/Sarvam-mで機械的に説明され,Oriya-blockトークンはゼロであった。
非インデックスコンテンツでは、BrahmicTokenizer-131Kはo200k_baseの英語の肥大度(1.235対1.232トークン/ワード)と一致し、HumanEval、MBPP、GSM8KでTekken/Sarvam-mを4.0-14.2%上回る。
14-tokenizerベンチマーク全体では、131K予算でBrahmic、英国、EU、コード、数学を同時に競合する唯一のトークンライザです。
他のVocabクラス(Sarvam-30B、Sarvam-1、MUTANT-Indic)のスペシャリストトークンは、非インデックス性能の犠牲で、より良いIndic圧縮を実現している。
私たちはApache 2.0で成果物をhttps://huggingface.co/theschoolofai/BrahmicTokenizer-131Kでリリースします。
関連論文リスト
- Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。
WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。
Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
論文 参考訳（メタデータ） (2026-03-26T10:56:48Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。
本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。
実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
論文 参考訳（メタデータ） (2026-02-04T16:19:05Z) - Is Sanskrit the most token-efficient language? A quantitative study using GPT, Gemini, and SentencePiece [0.0]
サンスクリットは、その形態と文法規則のために、トークンごとにより意味を表現していると仮定されている。
我々は、サンスクリット語、英語、ヒンディー語という3つの言語からなるBhagavad Gitaの701のパラレルバースのデータセットを使用している。
我々は、SPM(SentencePiece)、古いGPTモデル、およびGeminiおよびGPTの次世代トークン化器を試験する。
論文 参考訳（メタデータ） (2026-01-05T15:23:50Z) - AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3 [4.284434049360481]
本稿では、SentencePiece Unigramアルゴリズム上に構築されたアラビア最適化トークンであるAraTokenを紹介する。
正常化したSentencePieceは、非正規化ベースラインに比べて18%低い受精率(1.199対1.35トークン/ワード)を達成することを示す。
実験の結果,LEPは100Kアラビアサンプルの800段階において,評価損失を8.28から2.43に減少させることがわかった。
論文 参考訳（メタデータ） (2025-12-20T15:32:10Z) - Explaining and Mitigating Crosslingual Tokenizer Inequities [18.823984182115712]
高いトークンプレミアムを持つことは、トレーニング中のスループットを低下させ、推論時のコストを増大させる。
97言語で約7,000の同等のモノリンガルトークンをトレーニングします。
トレーニングデータとテストデータの類似性はトークンのプレミアムに影響しないが、語彙サイズや事前トークン化には影響しない。
論文 参考訳（メタデータ） (2025-10-24T17:36:03Z) - Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier [11.131061652781192]
事前トークン化は、コーパス内のトークンの分布を一般的なフル長の単語に歪ませる原因となる。
本研究では,境界制約を緩和する改良型BPEアルゴリズムであるBoundlessBを提案する。
我々のアプローチは、2つの完全プレトケンを選択的にスーパーワードと呼ぶより大きな単位にマージする。
論文 参考訳（メタデータ） (2025-03-31T19:36:29Z) - SuperBPE: Space Travel for Language Models [103.09169510391972]
我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。
SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。
我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
論文 参考訳（メタデータ） (2025-03-17T17:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。