論文の概要: TokenFlow: Responsive LLM Text Streaming Serving under Request Burst via Preemptive Scheduling
- arxiv url: http://arxiv.org/abs/2510.02758v1
- Date: Fri, 03 Oct 2025 06:43:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 16:35:52.287161
- Title: TokenFlow: Responsive LLM Text Streaming Serving under Request Burst via Preemptive Scheduling
- Title（参考訳）: TokenFlow: プリエンプティブスケジューリングによるリクエストバースト下での応答型LLMテキストストリーミング
- Authors: Junyi Chen, Chuheng Du, Renyuan Liu, Shuochao Yao, Dingtian Yan, Jiang Liao, Shengzhong Liu, Fan Wu, Guihai Chen,
- Abstract要約: TokenFlowは、プリエンプティブな要求スケジューリングとアクティブなキーバリューキャッシュ管理を通じて、テキストストリーミング性能を向上した、新しいテキストストリーミングシステムである。
TokenFlowは、トークン全体のスループットを低下させることなく、P99 TTFTを最大80.2%削減しながら、82.5%の効率的なスループット(実際のユーザ消費を計る)を達成することを示す。
- 参考スコア（独自算出の注目度）: 27.580464061533565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-time LLM interactions demand streamed token generations, where text tokens are progressively generated and delivered to users while balancing two objectives: responsiveness (i.e., low time-to-first-token) and steady generation (i.e.,required time-between-tokens). Standard LLM serving systems suffer from the inflexibility caused by non-preemptive request scheduling and reactive memory management, leading to poor resource utilization and low request processing parallelism under request bursts. Therefore, we present TokenFlow, a novel LLM serving system with enhanced text streaming performance via preemptive request scheduling and proactive key-value (KV) cache management. TokenFlow dynamically prioritizes requests based on real-time token buffer occupancy and token consumption rate, while actively transferring KV cache between GPU and CPU memory in the background and overlapping I/O with computation to minimize request preemption overhead. Extensive experiments on Llama3-8B and Qwen2.5-32B across multiple GPUs (RTX 4090, A6000, H200) demonstrate that TokenFlow achieves up to 82.5% higher effective throughput (accounting for actual user consumption) while reducing P99 TTFT by up to 80.2%, without degrading overall token throughput.
- Abstract（参考訳）: リアルタイムLLMインタラクションはトークン生成をストリーム化し、そこではテキストトークンが徐々に生成され、ユーザに配信され、応答性(低時間から第一のトークン)と安定した生成(要求される時間間トークン)という2つの目標のバランスをとる。
標準LLMサービスシステムは、非プリエンプティブな要求スケジューリングとリアクティブメモリ管理によって生じる柔軟性に悩まされ、リソース利用の低さと要求バースト時の要求処理の並列性に繋がる。
そこで本研究では,プリエンプティブ要求スケジューリングとアクティブキー値(KV)キャッシュ管理により,テキストストリーミング性能を向上した新しいLLMサービスシステムであるTokenFlowを提案する。
TokenFlowは、リアルタイムトークンバッファ占有率とトークン消費率に基づいて要求を動的に優先順位付けすると同時に、バックグラウンドでGPUとCPUメモリ間でKVキャッシュを積極的に転送し、リクエストプリエンプションオーバーヘッドを最小限に抑えるために計算でI/Oをオーバーラップする。
複数のGPU(RTX 4090, A6000, H200)にまたがるLlama3-8BとQwen2.5-32Bの大規模な実験では、トークン全体のスループットを低下させることなく、P99 TTFTを最大80.2%削減し、TokenFlowは82.5%高い効率のスループット(実際のユーザ消費を計る)を達成した。
関連論文リスト
- Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。
より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
論文 参考訳（メタデータ） (2026-02-20T18:59:50Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳（メタデータ） (2026-02-02T13:52:40Z) - video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory [51.03819128505358]
Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。
テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。
プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
論文 参考訳（メタデータ） (2025-10-13T08:20:15Z) - AsyncSpade: Efficient Test-Time Scaling with Asynchronous Sparse Decoding [35.10915929939651]
テストタイムスケーリング(TTS)は長いチェーン・オブ・シント(CoT)を介してLCM推論を促進する
KV-cache成長は、LLMデコーディングのメモリバウンドボトルネックを増幅する。
2つのコアコンポーネント上に構築された効率的なTSのための非同期フレームワークであるAsyncSpadeを提案する。
論文 参考訳（メタデータ） (2025-10-08T19:36:11Z) - Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。
それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。
本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
論文 参考訳（メタデータ） (2025-09-29T15:52:08Z) - Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [58.044803442346115]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおいてブレークスルーを実現するが、推論中に計算の複雑さやメモリオーバーヘッドに悩まされる。
Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークであり、遅延双方向スパースキャッシングを経由するスパースアテンションである。
論文 参考訳（メタデータ） (2025-08-04T16:14:03Z) - LiteVLM: A Low-Latency Vision-Language Model Inference Pipeline for Resource-Constrained Environments [4.2226391610434275]
本稿では,組込みデバイスへのデプロイに最適化された効率的なビジョン・ランゲージ・モデル(VLM)パイプラインを提案する。
パイプラインは、パッチ選択を併用して、無関係なカメラビューをフィルタリングすることにより、計算オーバーヘッドを大幅に削減する。
論文 参考訳（メタデータ） (2025-06-09T04:30:25Z) - Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints [14.341123057506827]
大規模言語モデル(LLM)は、今日のアプリケーションでは必須であるが、推論手順は重要な計算資源を必要とする。
本稿では,多段階オンラインスケジューリング問題としてLLM推論最適化を定式化する。
我々は,アルゴリズム設計をガイドするトラクタブルなベンチマークを提供するために,流体力学近似を開発した。
論文 参考訳（メタデータ） (2025-04-15T16:00:21Z) - VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。
Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
論文 参考訳（メタデータ） (2025-03-21T09:46:31Z) - SwiftKV: Fast Prefill-Optimized Inference with Knowledge-Preserving Model Transformation [32.62031120968721]
本稿では,プロンプトトークンのプリフィル計算(FLOP)を削減することを目的とした,新しいモデル変換および蒸留手法であるSwiftKVを提案する。
SwiftKVは、後のレイヤのKVキャッシュを以前のレイヤの出力を使ってプリフィルし、プロンプトトークンが後層のレイヤをスキップできるようにする。
Llama-3.1-70B の 16K トークン/s に変換される正規化推論スループットの 560 TFlops/GPU を実現することができる。
論文 参考訳（メタデータ） (2024-10-04T22:45:26Z) - TPI-LLM: Serving 70B-scale LLMs Efficiently on Low-resource Edge Devices [36.714057078457195]
本稿では,70Bスケールモデルに対する計算およびメモリ効率の高いテンソル並列推論システムであるTPI-LLMを提案する。
TPI-LLMは、ユーザのデバイスに機密データをローカルに保持し、スライディングウィンドウメモリスケジューラを導入する。
TPI-LLMは、Accelerateと比較して80%以上、タイム・ツー・ファースト・トークンのレイテンシが低いことを示した。
論文 参考訳（メタデータ） (2024-10-01T09:18:56Z) - Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。
本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文 参考訳（メタデータ） (2024-06-24T03:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。