論文の概要: The Invisible Language Tax: Token Premiums of French and Regional Languages in 2026 LLM Tokenizers, and a French-Optimized Prototype

• arxiv url: http://arxiv.org/abs/2609.39001v1
• Date: Wed, 30 Sep 2026 05:14:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.225376
• Title: The Invisible Language Tax: Token Premiums of French and Regional Languages in 2026 LLM Tokenizers, and a French-Optimized Prototype
• Title（参考訳）: 不可視型言語税:2026年のフランス語・地方言語のトーケンプレミアムとフランス語最適化プロトタイプ
• Abstract要約: フランス語は英語よりも31%から58%のトークンを必要とするが、簡体字中国語は5%以下から40%以上である。 エージェント使用の絶対的ギャップを、ヒストリー再販売、タイアップ価格、固定コンテキストウィンドウがいかに増幅するかを論じる。 本稿では,テッケンの語彙サイズを持つバイトレベルのBPEプロトタイプであるBaracoda FR v1.2を紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM services are billed per token and context windows are measured in tokens, yet the number of tokens needed for the same content varies across languages. We measure this token premium on seven tokenizers of widely used 2026 models (OpenAI o200k, Llama 3, Qwen3, DeepSeek V3/V4, Gemma 3, Mistral Tekken, and the Claude generation-5 tokenizer via Anthropic's counting API) on NTREX-128 (124 non-English reference translations) and on the Universal Declaration of Human Rights for regional languages. French requires 31% to 58% more tokens than English, whereas Simplified Chinese ranges from 5% fewer to 40% more and is cheaper than French on six of the seven tokenizers. Regional and overseas languages of France pay roughly 1.6 to 3.3 times the English count. We discuss how history re-sending, tiered pricing and fixed context windows amplify the absolute gap in agentic use. In a controlled experiment (BPE, Europarl, 50k vocabulary), adding French to tokenizer training data quickly reduces the premium, with diminishing returns and a growing cost for English. Finally, we present Baracoda FR v1.2, a byte-level BPE prototype with Tekken's vocabulary size. On a final test of six corpora never consulted during design, with a protocol declared fixed beforehand, it uses 11.5% fewer tokens than Tekken on French and 3.7% fewer on English; results hold after removing test sentences overlapping the training data and with an equal ordinary-token budget. It is worse on other languages and, at comparable vocabulary size, does not outperform CroissantLLM. These are segmentation results only; effects on model quality and task cost remain to be shown.
• Abstract（参考訳）: LLMサービスはトークン毎に課金され、コンテキストウィンドウはトークンで測定されるが、同じコンテンツに必要なトークンの数は言語によって異なる。 このトークンプレミアムは、広く使われている2026モデル(OpenAI o200k, Llama 3, Qwen3, DeepSeek V3/V4, Gemma 3, Mistral Tekken, Claude Generation-5 tokenizer via Anthropic's counting API)の7つ、NTREX-128(124の非英語参照翻訳)、および地域言語における人権宣言(Universal Declaration of Human Rights for Regional Language)で測定する。 フランス語は英語よりも31%から58%のトークンを必要とするのに対し、簡体字中国語は5%以下から40%以上で、7つのトークンーのうち6つでフランス語より安い。 フランスの地域および海外の言語は、英語の約1.6倍から3.3倍の料金を支払う。 エージェント使用の絶対的ギャップを、ヒストリー再販売、タイアップ価格、固定コンテキストウィンドウがいかに増幅するかを論じる。 制御実験(BPE, Europarl, 50k vocabulary)では、トークンライザのトレーニングデータにフランス語を追加することで、リターンが低下し、英語のコストが増大する。 最後に,Tekkenの語彙サイズのバイトレベルのBPEプロトタイプであるBaracoda FR v1.2を紹介する。 6つのコーポラの最終的な試験では、事前に定められたプロトコルにより、フランス語でテッケンよりも11.5%少ないトークンを使用し、英語で3.7%少ないトークンを使用する。 他の言語では悪く、同じ語彙サイズではCroissantLLMを上回りません。 これらはセグメンテーション結果のみであり、モデル品質とタスクコストへの影響は示されていない。

関連論文リスト

• Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities [0.0]
  技術教育コンテンツにおけるトークン化プレミアムを測定するためのベンチマークであるTokenization Equity Audit(TEA)を紹介する。 ティーは、英語からベンガル語、ヒンディー語、アラビア語、タミル語、ヨルバ語に翻訳された120石のPythonコーパスで、GPT-4oのo200kベース、Qwen2.5-7B、Mistral-7Bの3つの広く使われているトークン化剤を評価している。 ベンガリは英語と同じくらい多くのGPT-4oトークンを必要とし、128kのコンテキストウィンドウを82k相当の英語トークン容量に減らした。
  論文  参考訳（メタデータ） (2026-08-10T02:51:04Z)
• The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages [0.0]
  大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。 FLORES-200並列コーパスを用いて,インド語のトークン化税の定量化を行う。 固定された文脈予算の下では、インド英語の文書は同等の英語の文書よりも原文をほとんど保存していないことを示す。
  論文  参考訳（メタデータ） (2026-07-27T11:20:29Z)
• Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems [0.0]
  我々は、シリル文字とラテン文字を標準化した9つの生産トークンと5つの言語にまたがるオーバーヘッドを定量化する。 ウクライナでは、現代的なトークン化剤に68-121%のトークンオーバーヘッド、古いcl100kに220%のオーバーヘッドがある。 200Kボキャブラリキャップで訓練されたバランスの取れたバイトレベルのBPEトークンーは、保持されているUK/EN比を2.22倍から1.30倍に下げる。
  論文  参考訳（メタデータ） (2026-07-17T04:58:51Z)
• The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs [0.0]
  トークンライザは、他の言語よりも多くのサブワードトークンを割り当てるため、高いトークンフェタリティを持つ言語の話者は、モデルが呼び出される前に構造的なペナルティを支払う。 このペナルティは、一般に多言語設定のために文書化されているが、アフリカ語では体系的に測定されていない。 5つの言語ファミリーと3つのスクリプトにまたがる20のアフリカの言語で測定します。
  論文  参考訳（メタデータ） (2026-06-23T11:47:03Z)
• Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
  現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。 WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。 Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
  論文  参考訳（メタデータ） (2026-03-26T10:56:48Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。