論文の概要: Counting and Min-Cost Encoding for Tokenization in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.01127v1
• Date: Thu, 01 Oct 2026 06:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.927411
• Title: Counting and Min-Cost Encoding for Tokenization in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるトークン化のためのカウントとMin-Cost符号化
• Abstract要約: 我々は,Counting and Filtering (CNF) とMin-Cost constructs (MCE) と呼ばれるテキスト符号化アルゴリズムを提案する。 MCEはテキストセグメント上のコスト関数を定義し、全体のセグメント化コストを世界規模で最小化することで、最適なセグメント化を決定する。 250Kの語彙により、CNF-MCEは、o200k_baseおよびqwen250kトークン化器上で、英語のWebテキスト上で圧縮率を26%、30%向上させる。
• 参考スコア（独自算出の注目度）: 27.66376453208396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mainstream large language models rely on a tokenizer to encode text into a token sequence. Different tokenizers may yield token sequences of substantially different lengths for the same text. With a fixed model architecture, shorter token sequences correspond to lower inference time. We propose a tokenizer training approach named Counting and Filtering (CNF) and a text encoding algorithm called Min-Cost Encoding (MCE). MCE defines a cost function over a text segment, and determines the best segmentation by globally minimizing the overall segmentation cost. CNF builds a raw vocabulary by directly counting valid substrings, and then constructs the final vocabulary through a filtering step based on actual token usage when segmenting the training corpus with MCE. The CNF-MCE conbination offers several advantages over BPE, including higher token efficiency, greater scalability, and lower dependency. Across six text categories and two vocabulary-size groups, CNF-MCE consistently achieves better compression than the evaluated BPE tokenizers. With a 250K vocabulary, CNF-MCE increases compression rate by 26% and 30% on English web text over the o200k_base and qwen250k tokenizers. Experiments scaling the vocabulary to 1M entries on English web text demonstrate sustained improvements over BPE, with a token efficiency improvement of over 60% and vocabulary utilization rising from 52.9% to 96.9%. The MCE algorithm does not depend on a merge list (as in BPE) or token probability (as in UnigramLM), making it applicable to a wide range of vocabularies, including those built from BPE, UnigramLM, CNF, and others. Language models trained from scratch at the 1.8B and 8B scales achieve comparable average performance to models using the BPE tokenizers across 11 benchmarks. These results demonstrate that CNF-MCE can improve token efficiency significantly while maintaining competitive downstream performance.
• Abstract（参考訳）: メインストリームの大規模言語モデルは、テキストをトークンシーケンスにエンコードするトークン化器に依存している。 異なるトークン化器は、同じテキストに対して実質的に異なる長さのトークン列を生成できる。 固定モデルアーキテクチャでは、短いトークンシーケンスは低い推論時間に対応する。 本稿では,Counting and Filtering (CNF) とMin-Cost Encoding (MCE) というテキスト符号化アルゴリズムを提案する。 MCEはテキストセグメント上のコスト関数を定義し、全体のセグメント化コストを世界規模で最小化することで、最適なセグメント化を決定する。 CNFは有効なサブストリングを直接数えて生の語彙を構築し、MCEでトレーニングコーパスをセグメント化する際に実際のトークン使用量に基づいて最終語彙を構築する。 CNF-MCE結合は、トークン効率の向上、スケーラビリティの向上、依存性の低減など、BPEよりもいくつかの利点がある。 6つのテキストカテゴリと2つの語彙サイズのグループにまたがって、CNF-MCEは評価されたBPEトークンよりも優れた圧縮を実現している。 250Kの語彙により、CNF-MCEは、o200k_baseおよびqwen250kトークン化器上で、英語のWebテキスト上で圧縮率を26%、30%向上させる。 英語のWebテキスト上で、語彙を100万エントリに拡大する実験では、BPEよりも継続的に改善され、トークン効率が60%以上向上し、語彙利用率が52.9%から96.9%に向上した。 MCEアルゴリズムはマージリスト(BPEなど)やトークン確率(UnigramLMなど)に依存せず、BPE、UnigramLM、CNFなどを含む幅広い語彙に適用できる。 1.8Bと8Bスケールでスクラッチからトレーニングされた言語モデルは、11ベンチマークにわたるBPEトークンーザを使用してモデルに匹敵する平均パフォーマンスを達成する。 これらの結果から,CNF-MCEは,競争力のある下流性能を維持しつつ,トークン効率を著しく向上させることができることが示された。

関連論文リスト

• Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding [0.0]
  Pruned BPEは、学習後の可視性とトークンの配置方法である。 マージ構造とモデル可視語彙選択を分離する。 実験により、Pruned BPEは標準BPEと比較してエンコード長を一貫して減少させることが示された。
  論文  参考訳（メタデータ） (2026-08-01T19:34:44Z)
• Compute Optimal Tokenization [79.3815358070537]
  圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。 所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。 実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
  論文  参考訳（メタデータ） (2026-05-02T01:53:22Z)
• MorphTok: Morphologically Grounded Tokenization for Indian Languages [18.594241501479747]
  トークン化は、特に大規模言語モデル(LLM)の台頭において、NLPにおいて重要なステップである。 古典的Byte-pairを適用する前に, 形態素認識のセグメンテーションを事前学習のステップとして提案する。 音節ベースの書記システムに共通する係り受け母音を扱うために,制約付きBPE(CBPE)を提案する。 CBPEは従属母音を扱い、単一の単位として発生するのではなく、他の文字との結合単位を形成する。
  論文  参考訳（メタデータ） (2025-04-14T15:44:45Z)
• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Tokenization Is More Than Compression [14.939912120571728]
  Byte-Pairのような既存のトークン化アプローチ。 (BPE)はデータ圧縮の分野に由来する。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
  論文  参考訳（メタデータ） (2024-02-28T14:52:15Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。