論文の概要: Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs

• arxiv url: http://arxiv.org/abs/2610.19801v1
• Date: Wed, 14 Oct 2026 08:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.04091
• Title: Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs
• Title（参考訳）: Delta Tokenizer: セッションデルタの参照的トークン化とマルチコアCPU上でのロングプロンプトのためのセグメンション並列性
• Abstract要約: 本稿では、CPUトークン化フロントエンドであるDelta Tokenizerを紹介する。 これは、リクエストと同一セッションの前のリクエストの間のデルタのみをトークン化する。 チャットインターフェースによるTTFTの中央値は、100Kトークンで59%削減される。
• 参考スコア（独自算出の注目度）: 7.926191097327915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An agent that drives an LLM sends the model the same conversation again and again, and each turn adds only a little text at the end. Inference engines reuse the KV cache of the shared prefix, so only the new tokens pass through the model. However, tokenization has no such shortcut. The CPU front end of the serving engine converts every request back into token IDs from its first character, which lengthens the time to first token (TTFT) and consumes CPU on every turn. We present Delta Tokenizer, a CPU tokenization front end that tokenizes only the delta between a request and the previous request of the same session. It retains the earlier token sequence, encodes again only the appended text and the short tail whose tokens the append could affect, and joins the two only at a position the tokenizer's splitting rules themselves cannot move, which keeps the result exact. For long requests with no state to reuse, it cuts the text where practical tokenizers already keep neighboring pieces independent, encodes the pieces on several cores at once, and concatenates the outputs into the reference encoding, exactly. A shared CPU pool schedules these chunks together with the short incremental updates, so an update runs between two chunks rather than behind an entire long job. The incremental path shortens the tokenization of a session turn by roughly 40x relative to the Hugging Face reference tokenizer, and on 16 cores the chunk-parallel path encodes a four-million-character request 8.2x faster than a serial encode and 1.6-2.1x faster than LoPT. Inside SGLang, Delta Tokenizer reduces the median TTFT through the chat interface by 59% at 100K tokens and brings the P99 TTFT of agent sessions down 9.5x under load and 23x when long requests tie up the front end. Every output we checked matches the reference, among them 41.8 billion documents encoded by its fast encoder.
• Abstract（参考訳）: LLMを駆動するエージェントは、モデルを同じ会話を何度も繰り返し、各ターンは最後に小さなテキストのみを追加する。 推論エンジンは共有プレフィックスのKVキャッシュを再利用するため、新しいトークンのみがモデルを通過する。 しかし、トークン化にはそのようなショートカットがない。 サービスエンジンのCPUフロントエンドは、すべてのリクエストを最初の文字からトークンIDに変換し、最初のトークン(TTFT)に延長し、各ターンでCPUを消費する。 我々は、リクエストと同一セッションの前のリクエストの間のデルタのみをトークン化するCPUトークン化フロントエンドであるDelta Tokenizerを紹介する。 初期のトークンシーケンスを保持し、追加するテキストと、追加するトークンが影響しうる短いテールのみをエンコードし、トークン発行者の分割ルール自体が移動できない位置にのみ2つを結合し、その結果を正確に保持する。 再利用する状態のない長いリクエストに対して、実用的なトークン化ツールがすでに隣接する部品を独立に維持しているテキストをカットし、複数のコアに一度にそれをエンコードし、アウトプットをリファレンスエンコーディングに正確に結合する。 共有CPUプールは、これらのチャンクと短いインクリメンタルアップデートを合わせてスケジュールするので、長いジョブ全体の背後ではなく、2チャンク間で更新が実行される。 インクリメンタルパスは、Hugging Face参照トークンライザと比較してセッションターンのトークン化を約40倍短縮し、16コア上でチャンク並列パスはシリアルエンコードより400万文字要求8.2倍、LOPTより1.6-2.1倍高速にエンコードする。 SGLangの内部では、Delta Tokenizerはチャットインターフェースを通じて中央のTTFTを100Kトークンで59%削減し、ロングリクエストがフロントエンドに結びつくと、エージェントセッションのP99TTFTを9.5倍、23倍ダウンさせる。 チェックしたすべてのアウトプットは参照と一致し、その高速エンコーダによってエンコードされた48億のドキュメントのうちの1つです。

関連論文リスト

• Taking Tokenization off the Host for Agentic LLM Serving [0.8778668649852349]
  GraphTokは、プリトークン化からトークン化まで、エンコードパイプライン全体を実行するトークンライザである。 データ転送を含む1.7-3.2msで100万のGPT-2トークンを符号化する。 Tokのシングル検索ベンチマークでは、ギガトケンより2.6-3.9倍、TokTierより18.1倍高速である。
  論文  参考訳（メタデータ） (2026-10-09T10:05:09Z)
• Recurrent Looped Transformer [55.3126277171095]
  Recurrent Looped Transformerはレイヤを並列因果エンコーダとリカレントデコーダに分割する。 2つのRTTは各シードで100%精度でパリティを256ビットに分割し、トランスフォーマーは偶然に残る。 トレーニング長の8倍のスワップベースの$S_5$置換トラッキングでは、RTTは最終状態の精度が97%に達し、Transformerは1%以下になった。
  論文  参考訳（メタデータ） (2026-10-06T01:29:46Z)
• Trading Depth for Time in Recurrent Transformers [61.2977190038771]
  リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-18T10:34:51Z)
• TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving [7.926191097327915]
  コーディングエージェントは、最も多くを支払う:セッションは、小さな追加の後、繰り返し長い書き起こしを提出する。 TokTierは、この2モードのワークロードのためのステートフルなCPU+GPUトークンサービスである。
  論文  参考訳（メタデータ） (2026-07-31T17:56:30Z)
• AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
  我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。 AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。 これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
  論文  参考訳（メタデータ） (2026-06-01T17:56:35Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• StagFormer: Time Staggering Transformer Decoding for RunningLayers In Parallel [16.03039380465818]
  Transformerベースの言語モデルでのデコーディングは本質的にシーケンシャルである。次のトークンの生成が始まる前に、トークンの埋め込みがネットワーク内のすべてのレイヤを通過する必要があるからだ。 本稿では,シーケンス軸に沿って実行をステージングし,モデル深度に沿って復号処理を並列化可能にする新しいアーキテクチャStagFormerを提案する。
  論文  参考訳（メタデータ） (2025-01-26T20:09:11Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Fast Interleaved Bidirectional Sequence Generation [90.58793284654692]
  左右方向と左右方向を同時に生成するデコーダを提案する。 一方向デコードのための標準アーキテクチャを簡単に双方向デコーダに変換することができることを示す。 我々のインターリーブ双方向デコーダ (IBDecoder) は標準変換器のモデル単純性と訓練効率を保っている。
  論文  参考訳（メタデータ） (2020-10-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。