論文の概要: Efficiency Measured in English: Tokeniser Coverage Bounds Small Language Models on Indic Scripts

• arxiv url: http://arxiv.org/abs/2610.24818v1
• Date: Sat, 17 Oct 2026 18:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:02:52.238227
• Title: Efficiency Measured in English: Tokeniser Coverage Bounds Small Language Models on Indic Scripts
• Title（参考訳）: 英語で測定された効率性:Tokeniser Coverageは、インデックススクリプト上の小さな言語モデルに境界を持つ
• Abstract要約: 131kの文体全体にわたって、TinyLlama-1.1Bのトークンはラテン文字の単語ごとに1.34個のサブワードトークンを、カンナダ語の単語ごとに22.60個のサブワードトークンを出力する。 TinyLlamaのUNKレートは、すべてのスクリプトで0.0%であり、バイトとして読むものを含む。 TinyLlama のパラメータの5分の1を持つ Indic-vocabulary encoder である MuRIL は、すべてのスクリプトを UNK が 0 で、バイトフォールバックが 0 である 1.23-2.26 トークン/ワードで読み取る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small Language Models with quantisation and parameter-efficient adaptation are widely offered as the route to multilingual AI under compute constraints, and their efficiency is almost always reported as a single memory figure. We show that this figure is measured in English and does not transfer. Across a 131k-sentence corpus spanning eleven Indic scripts, TinyLlama-1.1B's tokeniser emits 1.34 subword tokens per Latin-script word and 22.60 per Kannada word. This is not inefficiency; it is absence. Its vocabulary contains 0% of Odia's codepoints, 1% of Telugu's and 2% of Kannada's, and for five of eleven scripts the measured fertility sits at the UTF-8 byte-fallback ceiling, on Odia at 99.6% of it, with 93.6% of emitted tokens being raw bytes. Because SentencePiece byte fallback never raises an unknown-token marker, this failure is entirely silent: TinyLlama's UNK rate is 0.0% on every script, including the one it reads as bytes. We further show that low fertility can indicate the opposite of efficiency: mBERT posts its best score anywhere (1.10 tokens/word, on Odia) while discarding 87.9% of the text as UNK. MuRIL, an Indic-vocabulary encoder with a fifth of TinyLlama's parameters, reads every script at 1.23-2.26 tokens/word with zero UNK and zero byte fallback. The binding constraint is the vocabulary, not the parameter count. The consequence is concrete: on a 2048-token context window, the same model gives an English user 1,528 words of usable context and a Kannada user 91.
• Abstract（参考訳）: 量子化とパラメータ効率の適応を伴う小型言語モデルは、計算制約下での多言語AIへのルートとして広く提供されており、その効率はほとんど常に単一のメモリフィギュアとして報告されている。 この数字は英語で測定され、転送されないことを示す。 11のIndicスクリプトにまたがる131k文のコーパスで、TinyLlama-1.1Bのトークンはラテン文字1語あたり1.34のサブワードトークン、カンナダ文字あたり22.60のサブワードトークンを出力する。 これは非効率ではなく、欠席である。 語彙はオディアのコードポイントの0%、テルグの1%、カナダの2%を含み、11のスクリプトのうち5のスクリプトはUTF-8バイトのフォールバック天井にあり、99.6%がオディアで、93.6%が生のバイトである。 SentencePieceのバイトフォールバックは未知のマーカーを発生させることはないため、この失敗は完全にサイレントである。 TinyLlamaのUNKレートは、バイトとして読むものを含めて、すべてのスクリプトで0.0%である。 mBERTは最も高いスコア(1.10トークン/ワード)をオディアにポストし、87.9%のテキストをUNKとして破棄する。 TinyLlama のパラメータの5分の1を持つ Indic-vocabulary encoder である MuRIL は、すべてのスクリプトを UNK が 0 で、バイトフォールバックが 0 である 1.23-2.26 トークン/ワードで読み取る。 バインディング制約は、パラメータカウントではなく、語彙である。 その結果は具体的であり、2048年のコンテキストウィンドウでは、同じモデルが英語のユーザ1,528語とカンナダのユーザ91を提供する。

関連論文リスト

• Fewer Words, Not Fewer Tokens: Measuring the Sanskrit Tokenization Penalty per Proposition [0.0]
  同一のFLORES-200デベストコンテントでは、サンスクリットは、200,019 id以上の語彙を持つデプロイトークン化業者の英語トークンの1.774-2.187倍の費用をかかるが、ヒンディー語トークンの1.325-1.353倍にしかならない。 サンスクリットで訓練されたBPEの武器は、イギリスの同時代の散文(0.887)よりも安価に見える。 32,000点と64,000点の計8組が一致し、各サイズの整合アームは、一対の整合制御とバイト整合制御の両方に対して、95%間隔の散文で1.0より上に位置する。
  論文  参考訳（メタデータ） (2026-09-11T15:19:48Z)
• Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
  バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。 BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。 平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。 5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
  論文  参考訳（メタデータ） (2026-08-26T22:56:24Z)
• The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages [0.0]
  大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。 FLORES-200並列コーパスを用いて,インド語のトークン化税の定量化を行う。 固定された文脈予算の下では、インド英語の文書は同等の英語の文書よりも原文をほとんど保存していないことを示す。
  論文  参考訳（メタデータ） (2026-07-27T11:20:29Z)
• Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems [0.0]
  我々は、シリル文字とラテン文字を標準化した9つの生産トークンと5つの言語にまたがるオーバーヘッドを定量化する。 ウクライナでは、現代的なトークン化剤に68-121%のトークンオーバーヘッド、古いcl100kに220%のオーバーヘッドがある。 200Kボキャブラリキャップで訓練されたバランスの取れたバイトレベルのBPEトークンーは、保持されているUK/EN比を2.22倍から1.30倍に下げる。
  論文  参考訳（メタデータ） (2026-07-17T04:58:51Z)
• Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
  現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。 WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。 Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
  論文  参考訳（メタデータ） (2026-03-26T10:56:48Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。