論文の概要: Tokenizer Myths and Where To Find Them

• arxiv url: http://arxiv.org/abs/2611.04215v1
• Date: Tue, 03 Nov 2026 02:55:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 01:09:50.894041
• Title: Tokenizer Myths and Where To Find Them
• Title（参考訳）: トケナイザーの神話と発見場所
• Abstract要約: 我々はトークン化研究文献で3つの神話を特定し、挑戦する。 検定器のトリレンマ: 真の分布のみをベストに、同じ予測を同じスコアで与え、訓練されていない全てのモデルを結び付けるメトリクスは存在しない。
• 参考スコア（独自算出の注目度）: 37.26572643808973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tokenization is a fundamental component of modern language models: before a model sees data, its tokenizer has already determined how the data appears. We identify and challenge three myths in the tokenization research literature. Myth #1: Bits-Per-Byte (BPB) is agnostic to the tokenizer and/or the vocabulary size: BPB is tokens per byte times bits per token, and the two factors do not cancel; using untrained models, we show that BPB prefers some tokenizers over others: the model has learned nothing, but the tokenizer--model pair has. Myth #2: lower BPB means a better model: On untrained models, BPB strongly prefers some vocabulary sizes, even though accuracy remains at chance, and on real models trained on the same data, BPB correlates weakly with downstream performance. Myth #3: different "tokenizer-agnostic" metrics yield consistent results: The "unigram-normalized loss" is not tokenizer-agnostic; its reported correlation of 0.989 with BPB comes from a confounder and falls to 0.057 once fixed; from the same data the two metrics select different vocabularies at each model size. We present a tokenizer trilemma: no metric can score only the true distribution best, give the same predictions the same score, and tie all untrained models, so choosing a metric is choosing a research question. We conclude with a caution for reading the tokenization literature and a conjecture for future work.
• Abstract（参考訳）: トークン化は現代の言語モデルの基本コンポーネントであり、モデルがデータを見る前に、そのトークン化器がデータの出現方法を決定する。 我々はトークン化研究文献で3つの神話を特定し、挑戦する。 Myth #1: Bits-Per-Byte (BPB) is agnostic to the tokenizer and/or vocabulary size: BPB is tokens per byte times bits per tokens per tokens, and the two factors is cancel; untrained model, we show that BPB prefers some tokenizers than others: the model have learned nothing, but the tokenizer--model pair has。 神話 #2: 低いBPBはより良いモデルを意味する: 訓練されていないモデルでは、BPBは精度が低いにもかかわらず語彙のサイズを強く好んでおり、同じデータで訓練された実際のモデルでは、BPBは下流のパフォーマンスと弱い相関関係にある。 Myth #3: different "tokenizer-agnostic" metrics yield consistent results: The "unigram-normalized loss" is not tokenizer-agnostic; its report reported correlation of 0.989 with BPB came from a cofounder and fall to 0.057 once fixed; the same data from the two metrics select different vocabularies at each model size。 計量は真の分布のみを最良にスコアし、同じ予測を同じスコアで与え、訓練されていない全てのモデルを結び付けるので、計量を選ぶことは研究上の問題を選ぶ。 トークン化文献の読解と今後の研究の予想に注意を払って締めくくる。

関連論文リスト

• PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion [15.66392940087084]
  PAIRはエビデンス抽出と解答推論に2つの異なるサイズのモデルを採用している。 より小さなReaderモデルは、完全なコンテキストを処理し、保持する一方で、より大きなReasonerモデルは、コンテキストに直接参加することなく、質問と生成されたシーケンスのみを見ることができる。 HotpotQAでは、32B Reasonerを搭載したPAIRは、KVメモリの約4分の1を使用しながら、同じ32Bモデルのフルコンテキスト精度の96%を維持している。 45.7Kのコンテキストでは、PAIRは同じGPU上のフルコンテキスト32Bモデルよりも3.2$times$高いエンドツーエンドスループットを実現している。
  論文  参考訳（メタデータ） (2026-10-12T00:10:17Z)
• Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
  本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。 Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。 100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
  論文  参考訳（メタデータ） (2026-09-11T00:17:22Z)
• Causal Estimation of Tokenisation Bias [58.20086589761273]
  我々は、訓練されたモデルが対応する文字に割り当てる確率に対して、トークンの語彙にサブワードを含むか否かを定量化する。 トークン化は、スケール、語彙、トークンサプライヤにわたるモデルのアウトプットに一貫して影響を与えます。 特に、小モデルの語彙におけるサブワードの存在は、文字の確率を最大17倍に向上させる可能性がある。
  論文  参考訳（メタデータ） (2025-06-03T17:59:47Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance [34.641079276516926]
  我々は,0-gram言語モデリングとみなす圧縮の理論的重要性を論じる。 事前学習した言語モデルの下流での成功に対する圧縮の実証的重要性を示す。 本稿では,トークン化器の圧縮とモデル下流性能の相関関係を示す。
  論文  参考訳（メタデータ） (2024-03-10T17:02:53Z)
• You should evaluate your language model on marginal likelihood overtokenisations [5.824498637088864]
  言語モデルはトークン化よりも限界的な可能性に基づいて評価されるべきである、と我々は主張する。 我々は,英語とドイツ語の事前学習モデルについて,最良語化と限界語化の両面で評価した。
  論文  参考訳（メタデータ） (2021-09-06T15:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。