論文の概要: Removable and Irreducible: A Token-Cost Ledger for the Multilingual Tokenization Tax

• arxiv url: http://arxiv.org/abs/2609.00378v1
• Date: Fri, 17 Jul 2026 15:51:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.426111
• Title: Removable and Irreducible: A Token-Cost Ledger for the Multilingual Tokenization Tax
• Title（参考訳）: 脱税・不履行:多言語化税の利権層
• Abstract要約: 大規模な言語モデルは、非英語のテキストによく文書化された税金を支払う。 私たちはこの税金のどれ程が取り除けるか尋ねる。 我々は、統一台帳、取り外し可能な-内在的属性、オープンワンコマンドハーネスに貢献する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models pay a well-documented tax on non-English text: the same content costs several times more tokens, and because attention is quadratic in sequence length, far more compute. We ask how much of this tax is removable. Framing the token layer as source coding -- transformer compute is monotone in sequence length, whose per-atom floor is the Shannon rate $H/\log_2 V$, an object already applied to tokenizers in prior work -- we assemble a token-cost ledger that splits each language's cost, at fixed parallel content, into a removable coding redundancy, a residual coding slack, an intrinsic-content term, and an orthogonal, irreducible grapheme-to-phoneme term that governs the multimodal rather than the text cost. On FLORES-200 across eight languages, a production tokenizer costs up to $8.9\times$ more tokens for Indic scripts than for English; a script-matched code trained on $1,012$ sentences removes a median $64\%$ of that excess (bootstrap 95\% CI $[0.638, 0.647]$), and a script-fair information floor shows the intrinsic content differs by under $6\%$ -- the tax is representational, not informational. A constructed code removes $98\%$ of a controlled source's redundancy, and the token tax implies up to $79\times$ attention cost. We are explicit about scope and failure: this is compute-and-memory accounting, not a model-quality claim; we neither measure nor claim the cross-lingual direction of the orthographic term; and our matched code is a conservative small-data demonstration. We contribute the unifying ledger, the removable-versus-intrinsic attribution, and an open one-command harness.
• Abstract（参考訳）: 大規模言語モデルは、非英語のテキストによく文書化された税を支払う:同じコンテンツは数倍のトークンを消費する。 私たちはこの税金のどれ程が取り除けるか尋ねる。 トークン層をソースコーディングとして分割する -- トランスフォーマー計算はシーケンス長でモノトンであり、その原子単位のフロアはシャノンレート$H/\log_2 V$で、前回の作業でトークンライザにすでに適用されているオブジェクトです -- 固定並列コンテンツにおいて、各言語のコストを除去可能なコーディング冗長性、残留コーディングスラック、本質的な用語、そしてテキストコストではなくマルチモーダルを統括する直交的で既約のGrapheme-to-phonemeという用語に分割するトークンコスト台帳を組み立てます。 8言語にわたるFLORES-200では、英語よりもIndicスクリプトに最大8.9\times$以上のトークンが使用される。$1,012$文でトレーニングされたスクリプトマッチングコードは、その過剰な部分(bootstrap 95\% CI $[0.638, 0.647]$)の中央値6.4\%$を削除し、スクリプトフェア情報フロアは、本質的な内容が6.9\%以下であることを示している。 ビルドされたコードは、コントロールされたソースの冗長性の980\%$を削除し、トークン税は、最大79\times$ attention costを意味する。 これは、モデル品質のクレームではなく、計算とメモリの会計であり、正書法用語の言語間方向を測ったり主張したりもしません。 我々は,統一台帳,移動可能対内帰属属性,オープンワンコマンドハーネスに貢献する。

関連論文リスト

• The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages [0.0]
  大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。 FLORES-200並列コーパスを用いて,インド語のトークン化税の定量化を行う。 固定された文脈予算の下では、インド英語の文書は同等の英語の文書よりも原文をほとんど保存していないことを示す。
  論文  参考訳（メタデータ） (2026-07-27T11:20:29Z)
• The Script Tax: Measuring Tokenization-Driven Efficiency and Latency Disparities in Multilingual Language Models [0.0]
  2つの正書法変種を同一言語内容と比較することにより,スクリプト税の定量化を行う。 mBERT と XLM-R にまたがって、高いフラッゲーションの正書法は、受精率を3.4倍に向上させる。 サブワードの断片化から「NLLパラドックス」を避けるために、文字単位のビット(BPC)を用いることで、情報コストが大幅に増加することが分かる。
  論文  参考訳（メタデータ） (2026-01-19T14:45:40Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。