論文の概要: The Price of Token Boundaries: Compression Certificates and Prediction

• arxiv url: http://arxiv.org/abs/2609.35869v1
• Date: Sat, 26 Sep 2026 14:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.870547
• Title: The Price of Token Boundaries: Compression Certificates and Prediction
• Title（参考訳）: 戸建境界の価格:圧縮証明書と予測
• Abstract要約: 英語のウィキペディアでは、最適なトークン数を28.3-36.8%増やしている。 英語と中国語のフィッティングコーパスでは、語彙予算の10%のライセンスが、すべてのカットの除去から達成されたトークン数削減の85.2%と100.0%を回復させる。
• 参考スコア（独自算出の注目度）: 6.02574242789382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-tokenisation restricts which text fragments can become prediction units, but its compression cost is obscured when tokenisers are compared only under the same boundaries. We measure this cost by bounding the minimum token count from both sides, with and without a regular-expression boundary rule. Nonnegative prices on token occurrences yield a lower bound through shortest paths and vocabulary-budget selection; maximising over all prices recovers the linear programming relaxation, and an independent integer checker certifies the reported values. On English Wikipedia, boundaries increase the optimal token count by 28.3--36.8\%. Byte pair encoding lies 2.1\% above the constrained lower bound, but 10.9\% above the unrestricted bound. Compression and prediction favour different dictionaries: at 85M non-embedding parameters and matched training-token budgets, unrestricted fitting yields higher mean held-out bits per byte under a common unrestricted decoder in all 12 languages in the paired study and 11 of 12 under independent tuning and evaluation. To study intermediate boundary policies, we introduce boundary licences, which limit the vocabulary entries permitted to cross cuts and admit the same form of certificate. On separate English and Chinese fitting corpora, licensing 10\% of the vocabulary budget recovers 85.2\% and 100.0\% of the achieved token-count reduction from removing all cuts. These results quantify the compression cost of boundaries while separating it from the prediction quality of the resulting token units.
• Abstract（参考訳）: 事前トークン化は、どのテキストフラグメントが予測単位になるかを制限するが、トークンを同じ境界の下で比較した場合、圧縮コストは曖昧になる。 このコストは、両端から最小のトークンカウントを、正規表現境界ルールと無関係に拘束することで測定する。 トークン発生時の非負の価格は、最短経路とボキャブラリ・バジェット選択を通して低いバウンダリとなり、全ての価格を最大化すると、線形プログラミング緩和が回復し、独立した整数チェッカーが報告された値を認証する。 英語のウィキペディアでは、最適トークン数は28.3-36.8\%増加している。 バイトペアの符号化は制限された下限より2.1\%高いが、制限されない境界より10.9\%高い。 圧縮と予測は異なる辞書を好む: 85Mの非埋め込みパラメータと一致したトレーニングトーケン予算では、ペア研究における12言語中11言語と、独立したチューニングと評価の下で、各バイトあたりの平均保持ビットが、共通の非制限デコーダの下でより高い平均保持ビットとなる。 中間境界政策を研究するために, 境界ライセンスを導入し, クロスカットが許される語彙を制限し, 同じ形式の証明書を承認する。 英語と中国語のフィッティングコーパスでは、語彙予算の10\%が、すべてのカットの除去から達成されたトークン数削減の85.2\%と100.0\%を回復させる。 これらの結果は、結果として生じるトークン単位の予測品質とを分離しながら、境界の圧縮コストを定量化する。

関連論文リスト

• A Training Criterion with Token-Level Tolerance to Transcription Ambiguity for Automatic Speech Recognition [21.592555573372056]
  Omni-temporal Classification (OTC)は、接続性時間分類グラフにワイルドカードパスを追加することでノイズを許容する。 ワイルドカードの弧をトークンの粒度に移動するので、残りの単語が管理されている間は、サポートされていないトークンをバイパスすることができる。 トークンレベルのモデルでは,CTCよりもワイルドカード・バイパスの確率が有意に高いことを示す。
  論文  参考訳（メタデータ） (2026-09-24T17:17:55Z)
• Nested Byte-Level Vocabularies Are Cheap to Deploy and Expensive to Share: A Pre-Registered Negative Result [0.0]
  一つの言語モデルが複数の語彙サイズで動作可能であることを示す。 コントロールトークンはアクティブサイズを示し、その埋め込みと出力ヘッドをスライスすることで任意のトレーニングされたサイズにデプロイされる。 キャップトークンも出力制限もないコントロールも同じように堅牢であり、条件付けよりも多粒度トレーニングに寄与する。
  論文  参考訳（メタデータ） (2026-08-28T10:13:32Z)
• The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages [0.0]
  大きな言語モデル(LLM)は文字や単語を直接読み込むのではなく、サブワードトークンによってテキストを処理する。 FLORES-200並列コーパスを用いて,インド語のトークン化税の定量化を行う。 固定された文脈予算の下では、インド英語の文書は同等の英語の文書よりも原文をほとんど保存していないことを示す。
  論文  参考訳（メタデータ） (2026-07-27T11:20:29Z)
• Compute Optimal Tokenization [79.3815358070537]
  圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。 所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。 実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
  論文  参考訳（メタデータ） (2026-05-02T01:53:22Z)
• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• Causal Estimation of Tokenisation Bias [58.20086589761273]
  我々は、訓練されたモデルが対応する文字に割り当てる確率に対して、トークンの語彙にサブワードを含むか否かを定量化する。 トークン化は、スケール、語彙、トークンサプライヤにわたるモデルのアウトプットに一貫して影響を与えます。 特に、小モデルの語彙におけるサブワードの存在は、文字の確率を最大17倍に向上させる可能性がある。
  論文  参考訳（メタデータ） (2025-06-03T17:59:47Z)
• Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier [11.131061652781192]
  事前トークン化は、コーパス内のトークンの分布を一般的なフル長の単語に歪ませる原因となる。 本研究では,境界制約を緩和する改良型BPEアルゴリズムであるBoundlessBを提案する。 我々のアプローチは、2つの完全プレトケンを選択的にスーパーワードと呼ぶより大きな単位にマージする。
  論文  参考訳（メタデータ） (2025-03-31T19:36:29Z)
• Certified Robustness Under Bounded Levenshtein Distance [55.54271307451233]
  畳み込み型分類器のリプシッツ定数をレヴェンシュテイン距離に対して計算する最初の方法を提案する。 我々の方法であるLipsLevは、それぞれ18.80ドル%と13.93ドル%の精度を1ドルと2ドルで得ることができる。
  論文  参考訳（メタデータ） (2025-01-23T13:58:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。