論文の概要: Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models

• arxiv url: http://arxiv.org/abs/2609.12303v1
• Date: Fri, 11 Sep 2026 00:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.572806
• Title: Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
• Title（参考訳）: より小さく、より強いバイトモデルを蒸留するToken Ceiling
• Abstract要約: 本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。 Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。 100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
• 参考スコア（独自算出の注目度）: 67.72077328700088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small models are made more capable through distillation from a larger one that shares their tokenization scheme. However, do distilled byte and token models behave similarly in terms of scaling trends as compute and data increases? To enable this comparison, we introduce two variants to efficiently convert token logits to Byte Logits: 1) approximate: Marginalize-It, and 2) exact: End-Of-Token. We then present the first large scale study of overtraining decoder-only dense transformer models varying two dimensions simultaneously: the tokenization scheme (Tokens, Bytes, Bytes w/ eot) and the training objective (Distillation vs. Cross-Entropy), sweeping layer-parameter-matched models with roughly 1 billion parameters up to 1 trillion bytes of data. Across eight benchmarks spanning three categories: Multiple Choice QA, Language Generation, and Machine Translation, we find that Token-1B models outperform byte models (End-Of-Token-1B and Bytes-1B) in the low-FLOP regime but eventually plateau; byte models start worse yet surpass Token-1B models with more compute, reaching a higher downstream task performance ceiling. Extrapolating the average top-1 error vs. validation BPB scaling laws predicts that, asymptotically, distilled End-Of-Token-1B outperforms distilled Token-1B by up to 4%. They are also far more data efficient, matching the performance of distilled Token-1B using only one-sixth of the training data. Moreover, by operating over a small vocabulary of 256 bytes instead of on the order of 100K tokens, they circumvent the need for top-k truncation during logit dumping, while also reducing logit storage costs to roughly one-fifth. Finally, our downstream performance scaling laws predict that our distilled End-Of-Token-1B models asymptotically surpass the Llama 3.2-1B, Gemma-3-1B-pt, and Gemma 2B models on averaged downstream tasks by up to 6.5%, 8.1%, and 2.1%, respectively.
• Abstract（参考訳）: 小型モデルは、トークン化スキームを共有するより大きなモデルからの蒸留により、より有能になる。 しかし、蒸留されたバイトとトークンモデルは、計算やデータが増加するにつれて、スケーリングトレンドの観点でも同様に振る舞うのか? この比較を可能にするために、トークンロジットをByteロジットに効率的に変換する2つの変種を紹介します。 1) 近似:Marginalize-It, and 2 正確には「終止剣」。 次に、トークン化スキーム(Tokens, Bytes, Bytes w/eot)とトレーニング目標(Distillation vs. Cross-Entropy)の2つの次元を同時に変化させるデコーダのみの高密度トランスフォーマーモデルについて、大規模な研究を行った。 複数選択QA, 言語生成, 機械翻訳の8つのカテゴリにまたがるベンチマークでは, 低FLOP方式ではToken-1Bモデルがバイトモデル(End-Of-Token-1BおよびBytes-1B)より優れていたが, 最終的に高位になった。 平均トップ1エラーとBPBスケーリング法を外挿すると、漸近的に蒸留したEnd-Of-Token-1Bは、蒸留したToken-1Bを最大4%上回ったと予測される。 また、トレーニングデータの6分の1しか使用せず、蒸留したToken-1Bの性能に匹敵するデータ効率も向上している。 さらに、100Kトークンの順序ではなく256バイトの小さな語彙を操作することで、ロジットダンピング中のトップkトランケーションの必要性を回避すると同時に、ロジットストレージコストを約5分の1に削減する。 最後に,我々の下流性能スケーリング法は, 蒸留したエンドオフ-トケン-1Bモデルが, 平均下流タスクにおけるLlama 3.2-1B, Gemma-3-1B-pt, Gemma 2Bモデルをそれぞれ6.5%, 8.1%, 2.1%を漸近的に上回っていることを予測した。

関連論文リスト

• Compute Optimal Tokenization [79.3815358070537]
  圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。 所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。 実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
  論文  参考訳（メタデータ） (2026-05-02T01:53:22Z)
• OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
  大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。 プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。 我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
  論文  参考訳（メタデータ） (2025-08-11T20:07:34Z)
• DataDecide: How to Predict Best Pretraining Data with Small Experiments [67.95896457895404]
  私たちはDataDecideのモデル、データ、評価を公開しています。 最大100Bトークン,最大1Bパラメータのモデルサイズ,および3つのランダムシードを用いて,25コーパスにわたる事前学習実験を行った。
  論文  参考訳（メタデータ） (2025-04-15T17:02:15Z)
• Byte Latent Transformer: Patches Scale Better Than Tokens [101.10994909832063]
  Byte Latent Transformer (BLT) はバイトを動的サイズのパッチにエンコードする。 固定推論コストに対して、BLTはパッチとモデルサイズの両方を同時に拡大することにより、トークン化ベースのモデルよりもはるかに優れたスケーリングを示している。
  論文  参考訳（メタデータ） (2024-12-13T05:33:32Z)
• Focus on the Core: Efficient Attention via Pruned Token Compression for Document Classification [6.660834045805309]
  BERTのような事前訓練されたトランスフォーマーは計算コストのかかる自己保持機構に悩まされる。 トークンプルーニングとトークンの組み合わせという2つの戦略を統合することを提案する。 さまざまなデータセットによる実験は、ベースラインモデルよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-06-03T12:51:52Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Token Dropping for Efficient BERT Pretraining [33.63507016806947]
  本研究では,変圧器モデルの事前学習を高速化する簡易かつ効果的な「トーケンドロップ」手法を開発した。 我々は既に組み込まれているマスキング言語モデリング(MLM)の損失を利用して、計算オーバーヘッドのない重要でないトークンを識別する。 この単純なアプローチは、BERTの事前トレーニングコストを25%削減し、標準の下流タスクで同様の微調整性能を実現する。
  論文  参考訳（メタデータ） (2022-03-24T17:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。