論文の概要: The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages
- arxiv url: http://arxiv.org/abs/2607.24276v1
- Date: Mon, 27 Jul 2026 11:20:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.401603
- Title: The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages
- Title（参考訳）: トケナイザー税:インド語におけるサブワード・トケナイゼーションの言語横断コストの定量化と説明
- Abstract要約: 大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。
FLORES-200並列コーパスを用いて,インド語のトークン化税の定量化を行う。
固定された文脈予算の下では、インド英語の文書は同等の英語の文書よりも原文をほとんど保存していないことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) process text through subword tokenizers rather than directly reading characters or words. Because these tokenizers are trained predominantly on English-centric corpora, they introduce a systematic and often overlooked disadvantage for many non-English languages. In this work, we quantify this tokenizer tax for Indian languages using the FLORES-200 parallel corpus, measuring tokenization fertility across six widely used tokenizers and fourteen languages. Under cl100k_base (used by GPT-3.5 and GPT-4), Indian languages experience an average 8.0x tokenization tax relative to English, reaching 13.0x for Malayalam, reducing the effective context window to as little as 12% of that available to English users for equivalent semantic content. We identify the primary mechanism behind this disparity: failed byte-pair merges that leave text fragmented into single-byte tokens, with merge failure strongly correlating with tokenizer tax (Pearson r = 0.89). We further show that this phenomenon is not an inherent property of Indic scripts but a consequence of tokenizer design. Multilingual tokenizers such as XLM-R and OpenAI's o200k_base reduce the average Indic tokenizer tax by 73%, demonstrating that the disparity is largely remediable. Beyond token statistics, we quantify a practical consequence by showing that, under fixed context budgets, Indian-language documents preserve substantially less original content than equivalent English documents. Finally, we examine the relationship between tokenizer fertility and reading comprehension performance on the Belebele benchmark, finding that the apparent correlation is largely explained by language resource availability rather than tokenizer behavior alone.
- Abstract（参考訳）: 大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。
これらのトークン化剤は、主に英語中心のコーパスに基づいて訓練されているため、多くの非英語言語に対して体系的かつ見過ごされがちな不利を導入している。
本研究では,FLORES-200並列コーパスを用いて,インド語のトークン化税を定量化し,広く使用されている6つのトークン化剤と14の言語間のトークン化の肥大度を測定した。
cl100k_base (GPT-3.5とGPT-4が使用)の下では、インドの言語は英語と比較して平均8.0倍のトークン化税を経験し、マラヤラムでは13.0倍に達した。
テキストの断片化を単一バイトのトークンに残し、マージ失敗はトークン化税(Pearson r = 0.89)と強く関連している。
さらに、この現象はIndicスクリプト固有の特性ではなく、トークン化設計の結果であることを示す。
XLM-R や OpenAI の o200k_base のような多言語トークンは、平均 Indic tokenizer 税を 73% 削減し、その格差がほぼ修復可能であることを示した。
トークン統計の他に、固定された文脈予算の下では、インド語文書は同等の英語文書よりもオリジナルコンテンツが著しく少ないことを示すことで、実践的な結果の定量化を行う。
最後に,Belebeleベンチマークにおいて,トークン化剤の施肥度と読解能力の関係について検討し,トークン化剤の挙動のみでなく,言語資源の可利用性によって明らかな相関が説明できることを見出した。
関連論文リスト
- Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities [0.0]
技術教育コンテンツにおけるトークン化プレミアムを測定するためのベンチマークであるTokenization Equity Audit(TEA)を紹介する。
ティーは、英語からベンガル語、ヒンディー語、アラビア語、タミル語、ヨルバ語に翻訳された120石のPythonコーパスで、GPT-4oのo200kベース、Qwen2.5-7B、Mistral-7Bの3つの広く使われているトークン化剤を評価している。
ベンガリは英語と同じくらい多くのGPT-4oトークンを必要とし、128kのコンテキストウィンドウを82k相当の英語トークン容量に減らした。
論文 参考訳（メタデータ） (2026-08-10T02:51:04Z) - Language Models are not Equally Robust to Non-Canonical Tokenization across Languages [29.183380954421242]
多様な言語にまたがる非標準トークン化下での言語モデルの振る舞いについて検討する。
トークン化の堅牢性は言語モデルの普遍的な特性ではなく、言語とトークン化との相互作用に強く依存していることを示す。
論文 参考訳（メタデータ） (2026-07-29T12:23:15Z) - Tokenizing Crosslingual Homographs [8.254230288283258]
多言語言語モデルは、限られた数のトークン単位内で複数の言語を表現するために、共有サブワード語彙に依存している。
我々はこの制限を言語間ホモグラフと偽の友人を通して検討する。
そこで本稿では,共有語彙単語の初期文字を置き換える言語固有の文字を用いた,単純なトークン化レベル介入を提案する。
論文 参考訳（メタデータ） (2026-07-20T08:37:31Z) - The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs [0.0]
トークンライザは、他の言語よりも多くのサブワードトークンを割り当てるため、高いトークンフェタリティを持つ言語の話者は、モデルが呼び出される前に構造的なペナルティを支払う。
このペナルティは、一般に多言語設定のために文書化されているが、アフリカ語では体系的に測定されていない。
5つの言語ファミリーと3つのスクリプトにまたがる20のアフリカの言語で測定します。
論文 参考訳（メタデータ） (2026-06-23T11:47:03Z) - Parallel Tokenizers: Rethinking Vocabulary Design for Cross-Lingual Transfer [13.630754537249707]
トークン化は多言語言語モデルの基盤を定義する。
新しいフレームワークは、単言語でトークンを訓練し、バイリンガル辞書や単語間翻訳を用いて語彙を徹底的に調整する。
論文 参考訳（メタデータ） (2025-10-07T17:05:49Z) - False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。
トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか?
相反する語彙を持つモデルでは、重なり合う結果が得られます。
論文 参考訳（メタデータ） (2025-09-23T07:47:54Z) - Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
自然言語処理(NLP)におけるトークン化の役割
規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。
本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
論文 参考訳（メタデータ） (2025-08-19T22:17:42Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - Comparative analysis of subword tokenization approaches for Indian languages [5.012314384895538]
トークン化(Tokenization)とは、テキストを小さな部分(トークン)に分割することで、機械が処理しやすいようにする行為である。
サブワードトークン化は、単語を小さなサブワード単位に分割することで、このプロセスを強化する。
これは、接頭辞、接尾辞、その他の形態変化など、インドの言語(IL)における単語の複雑な構造を捉えるのに有用である。
本稿では,SentencePiece,Byte Pair,WordPiece Tokenizationなどのサブワードトークン技術がILに与える影響について検討する。
論文 参考訳（メタデータ） (2025-05-22T16:24:37Z) - Beyond Literal Token Overlap: Token Alignability for Multilinguality [53.680462160878925]
我々は,多言語トークン化の効果と品質を理解する新しい方法として,サブワードトークン整合性を提案する。
特に、この指標は、スクリプトが異なっており、リテラルトークンの重複が低い場合、多言語性を予測する。
言語間移動のための最適な言語ペアを特定するために,我々のサブワードトークン整合性指標を推奨する。
論文 参考訳（メタデータ） (2025-02-10T13:50:12Z) - mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view
Contrastive Learning [54.523172171533645]
CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。
言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。
40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
論文 参考訳（メタデータ） (2023-08-17T16:02:29Z) - Language Model Tokenizers Introduce Unfairness Between Languages [98.92630681729518]
トークン化段階では,モデルが呼び出される直前に,異なる言語に対する扱いの相違が生じることを示す。
文字レベルとバイトレベルのモデルも、いくつかの言語ペアの符号化長の4倍以上の差を示している。
我々は、多言語で公平なサブワードトークン化器を用いて、将来の言語モデルを訓練するべきだと仮定する。
論文 参考訳（メタデータ） (2023-05-17T14:17:57Z) - Better Than Whitespace: Information Retrieval for Languages without
Custom Tokenizers [48.036317742487796]
語彙マッチング検索アルゴリズムのための新しいトークン化手法を提案する。
教師なしのデータから自動的に構築できるWordPieceトークンライザを使用します。
以上の結果から,mBERTトークン化器は,ほとんどの言語において,"アウト・オブ・ザ・ボックス(out of the box)"を検索するための強い関連信号を提供することがわかった。
論文 参考訳（メタデータ） (2022-10-11T14:32:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。