論文の概要: Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities

• arxiv url: http://arxiv.org/abs/2608.09046v1
• Date: Mon, 10 Aug 2026 02:51:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.047442
• Title: Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities
• Title（参考訳）: トークン化プレミアムの測定:保守言語コミュニティの費用監査
• Abstract要約: 技術教育コンテンツにおけるトークン化プレミアムを測定するためのベンチマークであるTokenization Equity Audit(TEA)を紹介する。 ティーは、英語からベンガル語、ヒンディー語、アラビア語、タミル語、ヨルバ語に翻訳された120石のPythonコーパスで、GPT-4oのo200kベース、Qwen2.5-7B、Mistral-7Bの3つの広く使われているトークン化剤を評価している。 ベンガリは英語と同じくらい多くのGPT-4oトークンを必要とし、128kのコンテキストウィンドウを82k相当の英語トークン容量に減らした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly deployed as general-purpose educational and technical assistance systems, but their underlying infrastructure does not treat languages equally. One underexamined source of disparity is tokenization: semantically equivalent content can require substantially different token counts across languages, affecting API cost, latency, and usable context length before a model is invoked. We introduce the Tokenization Equity Audit (TEA), a reproducible benchmark for measuring tokenization premiums in technical tutoring content. TEA evaluates three widely used tokenizers, GPT-4o's o200k base, Qwen2.5-7B, and Mistral-7B, on a 120-item Python debugging corpus translated from English into Bengali, Hindi, Arabic, Tamil, and Yoruba. Bengali and Hindi serve as the primary validated cases, while the remaining languages provide exploratory cross-script and cross-family comparisons. Across this corpus, Bengali requires (1.56\times) as many GPT-4o tokens as English, reducing a nominal 128k-token context window to an effective 82k-token English-equivalent capacity for the same semantic content. With the Qwen2.5 and Mistral tokenizers, Bengali requires up to (4.5\times) the English token count. Yoruba, despite using the Latin script, exhibits the highest GPT-4o tokenization premium at (2.37\times), indicating that tokenization inequity cannot be explained by script family alone. These results demonstrate that tokenization can create measurable economic and functional barriers, highlighting the need to treat tokenization as an equity-relevant infrastructure layer for underserved language communities, particularly where educational systems depend on low-cost or offline-capable AI tools.
• Abstract（参考訳）: 大規模言語モデルは、汎用的な教育および技術支援システムとしてますます展開されているが、基盤となるインフラは言語を平等に扱っていない。 セマンティックに等価なコンテンツは、言語間でかなり異なるトークン数を必要とし、モデルが呼び出される前のAPIコスト、レイテンシ、使用可能なコンテキストの長さに影響を与える。 本稿では,テクノチューリングコンテンツにおけるトークン化プレミアムを測定するための再現可能なベンチマークであるTokenization Equity Audit (TEA)を紹介する。 TEAは、GPT-4oのo200kベースであるQwen2.5-7BとMistral-7Bを、英語からベンガル語、ヒンディー語、アラビア語、タミル語、ヨルバ語に翻訳された120itemのPythonデバッグコーパスで評価している。 ベンガル語とヒンディー語は主要な検証されたケースとして機能し、残りの言語は探索的なクロススクリプトとクロスファミリーの比較を提供している。 このコーパス全体にわたって、Bengali は英語と同じくらい多くの GPT-4o トークンを必要とする(1.56\times)。 Qwen2.5 と Mistral のトークン化器では、ベンガルは最大 (4.5\times) の英語トークン数を必要とする。 ヨルバはラテン文字を使っているにもかかわらず、GPT-4oトークン化の最高のプレミアム(2.37\times)を示しており、トークン化の不平等がスクリプトファミリーだけで説明できないことを示している。 これらの結果は、トークン化が測定可能な経済的および機能的な障壁を生じさせ、トークン化を未観測言語コミュニティの株式関連インフラストラクチャ層として扱う必要性を強調している。

関連論文リスト

• The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages [0.0]
  大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。 FLORES-200並列コーパスを用いて,インド語のトークン化税の定量化を行う。 固定された文脈予算の下では、インド英語の文書は同等の英語の文書よりも原文をほとんど保存していないことを示す。
  論文  参考訳（メタデータ） (2026-07-27T11:20:29Z)
• BHARATI: Morphology-Aware Tokenizers for Classical Indian Languages with Subword Fertility Analysis [0.0]
  本稿では、7つの言語にまたがるバランスのとれた741MBコーパスでトレーニングされたSentencePiece BPEトークンの集合であるBharaTIについて述べる。 v1(英語とサンスクリット語のみ)、v2(タミル語でバイトフォールバックをサポートする4言語サポート)、v3(フル7言語ネイティブサブワードカバレッジ)の3つの連続したトークン化バージョンについて説明する。 サブワードの肥大分析によると、v3はインド知識システム(IKS)の技術用語当たり平均2.6トークンであり、GPT-2のトークン化器では年間5.25トークン、多言語SentencePieceベースラインでは3.75トークンである。
  論文  参考訳（メタデータ） (2026-07-25T18:23:06Z)
• The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs [0.0]
  トークンライザは、他の言語よりも多くのサブワードトークンを割り当てるため、高いトークンフェタリティを持つ言語の話者は、モデルが呼び出される前に構造的なペナルティを支払う。 このペナルティは、一般に多言語設定のために文書化されているが、アフリカ語では体系的に測定されていない。 5つの言語ファミリーと3つのスクリプトにまたがる20のアフリカの言語で測定します。
  論文  参考訳（メタデータ） (2026-06-23T11:47:03Z)
• Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
  現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。 WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。 Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
  論文  参考訳（メタデータ） (2026-03-26T10:56:48Z)
• Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
  同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。 単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。 Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-11T17:41:01Z)
• Is Sanskrit the most token-efficient language? A quantitative study using GPT, Gemini, and SentencePiece [0.0]
  サンスクリットは、その形態と文法規則のために、トークンごとにより意味を表現していると仮定されている。 我々は、サンスクリット語、英語、ヒンディー語という3つの言語からなるBhagavad Gitaの701のパラレルバースのデータセットを使用している。 我々は、SPM(SentencePiece)、古いGPTモデル、およびGeminiおよびGPTの次世代トークン化器を試験する。
  論文  参考訳（メタデータ） (2026-01-05T15:23:50Z)
• Beyond Literal Token Overlap: Token Alignability for Multilinguality [53.680462160878925]
  我々は,多言語トークン化の効果と品質を理解する新しい方法として,サブワードトークン整合性を提案する。 特に、この指標は、スクリプトが異なっており、リテラルトークンの重複が低い場合、多言語性を予測する。 言語間移動のための最適な言語ペアを特定するために,我々のサブワードトークン整合性指標を推奨する。
  論文  参考訳（メタデータ） (2025-02-10T13:50:12Z)
• Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models [68.29126169579132]
  APIベンダは、使用量に基づいてユーザを課金する。具体的には、基盤となる言語モデルによって処理されたトークンの数や生成されるトークンの数に基づいて。 しかし、トークンを構成するのは、異なる言語で同じ情報を伝達するのに必要なトークンの数に大きなばらつきに依存するトレーニングデータとモデルである。 我々は, OpenAI の言語モデル API のコストと有用性について,22言語で多言語ベンチマークを行った。
  論文  参考訳（メタデータ） (2023-05-23T05:46:45Z)
• Language Model Tokenizers Introduce Unfairness Between Languages [98.92630681729518]
  トークン化段階では,モデルが呼び出される直前に,異なる言語に対する扱いの相違が生じることを示す。 文字レベルとバイトレベルのモデルも、いくつかの言語ペアの符号化長の4倍以上の差を示している。 我々は、多言語で公平なサブワードトークン化器を用いて、将来の言語モデルを訓練するべきだと仮定する。
  論文  参考訳（メタデータ） (2023-05-17T14:17:57Z)
• Better Than Whitespace: Information Retrieval for Languages without Custom Tokenizers [48.036317742487796]
  語彙マッチング検索アルゴリズムのための新しいトークン化手法を提案する。 教師なしのデータから自動的に構築できるWordPieceトークンライザを使用します。 以上の結果から,mBERTトークン化器は,ほとんどの言語において,"アウト・オブ・ザ・ボックス(out of the box)"を検索するための強い関連信号を提供することがわかった。
  論文  参考訳（メタデータ） (2022-10-11T14:32:46Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。