論文の概要: Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems

• arxiv url: http://arxiv.org/abs/2608.21384v1
• Date: Fri, 17 Jul 2026 04:58:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.32222
• Title: Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
• Title（参考訳）: 1文字あたり2バイトを超える:キリルAIシステムにおけるトークン化オーバーヘッド
• Abstract要約: 我々は、シリル文字とラテン文字を標準化した9つの生産トークンと5つの言語にまたがるオーバーヘッドを定量化する。 ウクライナでは、現代的なトークン化剤に68-121%のトークンオーバーヘッド、古いcl100kに220%のオーバーヘッドがある。 200Kボキャブラリキャップで訓練されたバランスの取れたバイトレベルのBPEトークンーは、保持されているUK/EN比を2.22倍から1.30倍に下げる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern multilingual tokenizers often fragment Ukrainian and other underrepresented Cyrillic-script languages more heavily than English, creating disparities in cost and context capacity. We quantify this overhead across nine production tokenizers and five languages with standardized Cyrillic and Latin representations, covering 8.37 million word forms. On a corpus benchmark, Ukrainian shows 68-121% token overhead on modern tokenizers and 220% on the older cl100k, measured through full-text fertility on the BrUK and Brown corpora. Overhead is negatively associated with Cyrillic vocabulary allocation in the subset with independently verified English baselines, although the association is not statistically significant (Spearman rho = -0.536, p = 0.215, n = 7). We evaluate two mitigation strategies. LLMLingua-2 reduces Ukrainian input length by 47-49% on an e-commerce RAG benchmark of 1,536 products and 145 queries, with no compression-induced value losses among 80 retrievable cases. A balanced byte-level BPE tokenizer trained with a 200K vocabulary cap, converging at 158,184 actual entries, reduces the held-out UK/EN ratio from 2.22x to 1.30x. Romanization increases Ukrainian token counts by 2-19% on most tokenizers. Across the five languages, tokenization efficiency favors the script more prevalent in web data. These findings indicate that training data allocation contributes to Cyrillic tokenization overhead and that mitigation is possible at both inference and tokenizer-design stages.
• Abstract（参考訳）: 現代の多言語トークン化器は、しばしばウクライナ語や他のあまり表現されていないキリル文字の言語を英語よりも多用し、コストと文脈の容量の格差を生み出している。 我々はこのオーバーヘッドを、9つの生産トークン化言語と、標準化されたキリル文字とラテン文字の表現を持つ5つの言語で定量化し、837万の単語形式をカバーしている。 コーパスベンチマークでは、現代的なトークン化剤に68-121%のトークンオーバーヘッド、古いcl100kに220%のトークンオーバーヘッドを示し、BrUKとBrownのコーパスに全文の肥大を計測した。 オーバーヘッドは、独立に検証された英語のベースラインを持つ部分集合におけるキリル語の語彙割り当てと負の関連があるが、その関連性は統計的に有意ではない(Spearman rho = -0.536, p = 0.215, n = 7)。 我々は2つの緩和戦略を評価する。 LLMLingua-2は、1,536の製品と145のクエリのEコマースRAGベンチマークでウクライナの入力長を47-49%削減する。 200Kのボキャブラリキャップで訓練されたバランスの取れたバイトレベルのBPEトークンーは、158,184個の実際のエントリに収束し、英国/EN比を2.22倍から1.30倍に下げる。 ローマ化はウクライナのトークン数をほとんどのトークン化業者で2-19%増加させる。 5つの言語全体で、トークン化の効率は、Webデータでより一般的なスクリプトを好んでいる。 これらの結果は, トレーニングデータアロケーションがキリルトークン化のオーバーヘッドに寄与し, 推論およびトークン化設計段階で緩和が可能であることを示唆している。

関連論文リスト

• Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities [0.0]
  技術教育コンテンツにおけるトークン化プレミアムを測定するためのベンチマークであるTokenization Equity Audit(TEA)を紹介する。 ティーは、英語からベンガル語、ヒンディー語、アラビア語、タミル語、ヨルバ語に翻訳された120石のPythonコーパスで、GPT-4oのo200kベース、Qwen2.5-7B、Mistral-7Bの3つの広く使われているトークン化剤を評価している。 ベンガリは英語と同じくらい多くのGPT-4oトークンを必要とし、128kのコンテキストウィンドウを82k相当の英語トークン容量に減らした。
  論文  参考訳（メタデータ） (2026-08-10T02:51:04Z)
• The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages [0.0]
  大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。 FLORES-200並列コーパスを用いて,インド語のトークン化税の定量化を行う。 固定された文脈予算の下では、インド英語の文書は同等の英語の文書よりも原文をほとんど保存していないことを示す。
  論文  参考訳（メタデータ） (2026-07-27T11:20:29Z)
• Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya [6.396476220617138]
  本稿では,Amharic と Tigrinya の2言語を対象とした語彙拡張型 XLM-R を提案する。 VexMLMは87.0 EM/90.0 F1、XLM-Rは66.0 EM/78.0 F1、Glot500は74.0 EM/78.0 F1を達成する。 SAでは、VEXMLMは80.0%、XLM-Rは77.0%、Glot500は46.0%に達する。
  論文  参考訳（メタデータ） (2026-07-16T17:08:28Z)
• The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty [0.0]
  トケナイザーの出生率 単語当たりのトークンの数は、非英語のNLPに隠れたコストを課す。 パラレルテキストで25のヨーロッパ言語にわたる10の基盤モデルの出生率を測定します。 我々は大陸で最初に管理されたトークン発行者税の地図を作成した。
  論文  参考訳（メタデータ） (2026-05-23T20:13:44Z)
• Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
  現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。 WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。 Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
  論文  参考訳（メタデータ） (2026-03-26T10:56:48Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• Meta CLIP 2: A Worldwide Scaling Recipe [112.4690561863437]
  私たちは,世界規模のWebスケールイメージテキストペア上でCLIPをゼロからトレーニングする最初のレシピであるMeta CLIP 2を紹介する。 ゼロショットイメージネットの分類では、Meta CLIP 2 ViT-H/14は英語のみの分類を0.8%、mSigLIPを0.7%上回る。
  論文  参考訳（メタデータ） (2025-07-29T17:59:58Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。