論文の概要: Taking Tokenization off the Host for Agentic LLM Serving

• arxiv url: http://arxiv.org/abs/2610.13325v1
• Date: Fri, 09 Oct 2026 10:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.517567
• Title: Taking Tokenization off the Host for Agentic LLM Serving
• Title（参考訳）: エージェントLDMのホストとしてのトークン化
• Abstract要約: GraphTokは、プリトークン化からトークン化まで、エンコードパイプライン全体を実行するトークンライザである。 データ転送を含む1.7-3.2msで100万のGPT-2トークンを符号化する。 Tokのシングル検索ベンチマークでは、ギガトケンより2.6-3.9倍、TokTierより18.1倍高速である。
• 参考スコア（独自算出の注目度）: 0.8778668649852349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic workloads resend long contexts that barely change between calls. Prefix caching now skips most of their prefill, yet every request must still be tokenized in full before the cache can even be consulted. Tokenization, a CPU stage long treated as negligible, becomes the largest part of time-to-first-token (TTFT), and a frontend that tokenizes for a whole GPU fleet limits how many GPUs it can feed. We present GraphTok, a GPU tokenizer that runs the entire encoding pipeline, from pre-tokenization through byte-pair encoding (BPE) merging to token-ID assembly, as one replayable CUDA graph. GraphTok reproduces the reference token IDs bit-for-bit on GPT-2, Llama 3, Qwen 2.5, DeepSeek-V3, and Gemma 3, hands short inputs to a CPU engine where the GPU cannot win, and plugs into unmodified vLLM and NVIDIA Dynamo. GraphTok encodes one million GPT-2 tokens in 1.7-3.2 ms including data transfers, and on Llama 3 it is 4.7-6.0x faster than gigatoken, the strongest CPU tokenizer. On TokTier's own single-request benchmark, it is 2.6-3.9x faster than gigatoken and up to 18.1x faster than TokTier. In vLLM with a cached prefix, it lowers mean TTFT by 2.1-2.4x. The largest gain is capacity. Within a 2 s P99 target, one Dynamo frontend with GraphTok sustains 518 requests/s of 121k-token traffic, the busiest-hour load of 56 GPUs, against 296 with gigatoken and 18.5 with the default tokenizer. Across 121k to one million tokens, this is 1.75-2.5x the load gigatoken sustains, with a P99 up to 64x lower where gigatoken's tail breaks.
• Abstract（参考訳）: エージェントワークロードは、呼び出し間でほとんど変化しない長いコンテキストを再送する。 プリフィックスキャッシュは、プリフィルのほとんどをスキップするが、キャッシュが参照される前に、すべてのリクエストをフルにトークン化しなければならない。 待望のCPUステージであるTokenizationは、TTFT(Time-to-first-token)の最大の部分となり、GPUフリート全体をトークン化するフロントエンドは、提供可能なGPU数を制限する。 本稿では、プリトークン化からバイトペアエンコーディング(BPE)へのマージからトークンIDアセンブリまで、エンコーディングパイプライン全体を実行するGPUトークンライザであるGraphTokを、再生可能なCUDAグラフとして提示する。 GraphTokは、GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3で参照トークンIDをビット・フォー・ビットで再現し、GPUが勝てないCPUエンジンにショート入力を渡し、未修正のvLLMとNVIDIA Dynamoにプラグインする。 GraphTokはデータ転送を含む1.7-3.2msのGPT-2トークンを100万個エンコードしており、Llama 3では最強のCPUトークンであるgigotokenよりも4.7-6.0倍高速である。 TokTierのシングル検索ベンチマークでは、ギガトケンより2.6-3.9倍、TokTierより18.1倍高速である。 キャッシュされたプレフィックスを持つvLLMでは、平均TTFTを2.1-2.4x下げる。 最大の利益はキャパシティである。 2 s P99 ターゲット内では、GraphTok を使用した Dynamo フロントエンドが 518 リクエスト/秒の 121k トーケントラフィック、56GPU の負荷、ギガトケン296 とデフォルトのトークンライザ 18.5 を維持できる。 121kから100万のトークンで、これは負荷ギガトケンの1.75-2.5倍であり、ギガトケンの尾が折れる64倍のP99である。

関連論文リスト

• Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
  本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。 Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。 100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
  論文  参考訳（メタデータ） (2026-09-11T00:17:22Z)
• TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving [7.926191097327915]
  コーディングエージェントは、最も多くを支払う:セッションは、小さな追加の後、繰り返し長い書き起こしを提出する。 TokTierは、この2モードのワークロードのためのステートフルなCPU+GPUトークンサービスである。
  論文  参考訳（メタデータ） (2026-07-31T17:56:30Z)
• AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
  我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。 AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。 これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
  論文  参考訳（メタデータ） (2026-06-01T17:56:35Z)
• A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA [10.452946241750562]
  Gated DeltaNet(GDN)は、成長するKVキャッシュを固定サイズのリカレントステートに置き換える線形アテンションメカニズムである。 このボトルネックはアルゴリズムではなくアーキテクチャであることが示され、全てのサブクワッド列モデルはデコード時に 1 FLOP/B 未満の演算強度を示す。 オンチップBRAMにおいて,フル2MBのリカレント状態を持続的に保持することにより,このボトルネックを解消するFPGAアクセラレータを提案する。
  論文  参考訳（メタデータ） (2026-03-06T06:03:38Z)
• GPUTOK: GPU Accelerated Byte Level BPE Tokenization [0.0]
  GPT-2のマージルールに従うGPUベースのバイトレベルのBPEトークンライザを構築した。 基本的なBlockBPEスタイルのカーネルと、cuCollectionsの静的マップを使ったより高速で最適化されたバージョン、CUBの削減、Python用のpybind11インターフェースが含まれている。 WikiText103の最大131kのトークンでは、最適化されたトークン化器は同じ最長の入力を生成し、Tiktokenより約1.7倍、HuggingFace GPT-2トークン化器より約7.6倍高速である。
  論文  参考訳（メタデータ） (2026-03-03T04:48:28Z)
• FuseSampleAgg: Fused Neighbor Sampling and Aggregation for Mini-batch GNNs [51.56484100374058]
  FuseSampleAggは、隣人の平均アグリゲーションをGraphSAGEの1つのパスにフューズし、サンプリングする。 Operatorは決定論的であり、標準のPyTorchと統合され、CSVログからすべてのテーブルとフィギュアを再現するスクリプトが同梱されている。
  論文  参考訳（メタデータ） (2025-11-17T17:57:18Z)
• HashAttention: Semantic Sparsity for Faster Inference [95.31739930718116]
  本稿では,HashAttention,framing pivotal token Identificationを推薦問題として紹介する。 トークン1個あたり32ビットの補助メモリしか必要とせず、最小品質の損失を最小限に抑えられるため、最大16タイムで使用されるトークンを削減できる。 A100 GPUでは、HashAttentionを組み込むことで、GPT-FASTで4.3times$、FlashDecodeで2.54times$、GPT-FASTで最大3.12times$高スループットを実現している。
  論文  参考訳（メタデータ） (2024-12-19T02:34:15Z)
• Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens [65.4435926060951]
  本稿では,超長周期の変換器の効率を,各層でより小さな表現に圧縮することで向上することを提案する。 我々のアルゴリズムは効率的であるだけでなく(4Kと16Kのベースラインに比べて3倍以上の効率向上を達成する)、多数のタスクで競合/ベターパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-05-07T10:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。