論文の概要: RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
- arxiv url: http://arxiv.org/abs/2610.18143v1
- Date: Tue, 13 Oct 2026 10:49:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.595549
- Title: RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
- Title（参考訳）: RadixFlow: プリフィックスキャッシュされたハイブリッドLDMで実行バブルを埋める
- Abstract要約: Prefixの再利用は、共通プロンプトプレフィックスのKVキャッシュを共有することでLLM推論を改善する。
RadixFlowは、状態の準備からプレフィックスマッチングを分離する。
- 参考スコア（独自算出の注目度）: 18.022465446871333
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Prefix reuse improves LLM inference by sharing the KV cache of common prompt prefixes. This helps only if the scheduler can execute a matched branch in the current worker round. Schedulers assume that a matched prefix is ready, which holds for full attention but fails for hybrid LLMs. There, a branch (the consumer) may need recurrent state that another branch (the producer) is still computing in the same round. The native scheduler stops its waiting-queue scan at this blocked consumer, and the resulting head-of-line blocking creates \emph{execution bubbles}: idle batch slots that independent work could fill. We introduce RadixFlow, which decouples prefix matching from state readiness. Its state-ready traversal turns a global scan barrier into a local wait: only the consumer is blocked until the next round, while feasible independent branches keep filling the batch under the native state check. On five hybrid models, RadixFlow lowers mean latency by 3\% to 24\% and worker rounds by 11\% to 44\% at almost unchanged reuse. On the larger Qwen3.5 models, ablations show that most of the gain comes from traversal, which adds little on a full-attention control. Heavier rounds limit how much of this saving reaches latency.
- Abstract（参考訳）: Prefixの再利用は、共通プロンプトプレフィックスのKVキャッシュを共有することでLLM推論を改善する。
これにより、スケジューラが現在のワーカーラウンドでマッチしたブランチを実行できる場合にのみ役立つ。
スケジューリング者は一致したプレフィックスの準備が整っていると仮定し、完全な注意を払っているが、ハイブリッドLLMでは失敗する。
そこでは、あるブランチ(コンシューマ)が、別のブランチ(プロデューサ)が依然として同じラウンドで計算されているという、リカレントな状態を必要とするかもしれません。
ネイティブスケジューラは、ブロックされたコンシューマーに対する待ち行列スキャンを停止し、結果としてラインのヘッド・オブ・ラインのブロッキングによって \emph{execution bubbles}:独立作業が満たせるアイドルバッチスロットが生成される。
RadixFlowは、状態の準備からプレフィックスマッチングを分離する。
その状態対応のトラバーサルは、グローバルスキャン障壁をローカルの待機状態に変える。次のラウンドまでコンシューマのみをブロックし、実行可能な独立ブランチは、ネイティブ状態チェックの下でバッチを埋め続ける。
5つのハイブリッドモデルにおいて、RadixFlowは平均レイテンシを3\%から24\%、ワーカーラウンドを11\%から44\%に下げる。
より大型のQwen3.5モデルでは、ほとんどの利得はトラバーサルによるもので、フルアテンションコントロールにはほとんど追加されない。
ヘビーラウンドは、この節約がどれだけ遅延に達するかを制限する。
関連論文リスト
- DynBranch: Speculative Subgraph Reuse for Dynamic Agentic LLM Serving [4.081053645959144]
未解決分岐を解決前にアドレス化可能にするDynBranchを提案する。
その安定した座標により、候補のサブグラフは解像度中に実行され、完了したサブグラフの結果は後続の要求で再利用される。
DynBranchはモデルAPI境界にあり、エージェントハーネスやモデル実行エンジンを変更する必要はない。
論文 参考訳（メタデータ） (2026-09-25T09:42:18Z) - Elastic KV Cache for LLM Serving:A Working Reclamation Mechanism, and Why Chunked Prefill Already Closes the Gap [0.0]
弾性KVキャッシュはデコード中にKVプールにリザーブを貸し出し、プリフィル前に返します。
同じメモリの静的コミットは、プリフィルバーストで安全ではないため、動的トグルが必要になる。
小さめのプリフィルチャンクサイズが、プリフィルの遅延をひどく損なう場合に限る。
論文 参考訳（メタデータ） (2026-08-24T15:49:39Z) - FL-MAESTRO: Multi-Agent LLM Orchestration for Resource-Constrained Federated Learning [48.01654166701974]
フェデレートラーニング(FL)では、コミュニケーショントポロジは固定設計の選択ではなく、実行時変数である。
本稿では,3つのLDMエージェントを介して,共同実行時FLを直接決定するマルチエージェントオーケストレータFL-MAESTROを提案する。
コーディネータは分析結果を1つの決定にまとめ、非LLM実行可能性チェックはラウンド実行前に確認する。
論文 参考訳（メタデータ） (2026-08-20T19:27:52Z) - FusionML: Prefill, Not Decode - Mechanism and Boundaries of CPU+GPU Co-Execution on Unified-Memory Apple Silicon [0.0]
私たち自身を含む以前の試みは、失敗に終わり、あるいは正確で確立された勝利を生み出しました。
MLXの遅延グラフスケジューラは、クロスストリーム作業を行う CPU ストリーム操作が1つの評価グラフ内で非マテリアル化された GPU 結果を消費する場合、行分割行列は、物質化された入力で x1.38 を高速に実行する。
デコードでは利益が得られず、共有帯域幅によるバウンドは追加されない。
論文 参考訳（メタデータ） (2026-07-24T11:42:17Z) - BlockServe: Block-Grained Continuous Batching for High-Throughput Diffusion LLM Serving [43.73825162176931]
BlockServeは、ブロック粒度のスケジューリングを統合する継続的フレームワークである。
DreamとLLaDAでは、BlockServeは1.9-10.6$times$ over Fast-dLLMベンチマークを達成した。
論文 参考訳（メタデータ） (2026-07-09T20:48:08Z) - PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。
Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。
5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
論文 参考訳（メタデータ） (2026-06-25T06:56:43Z) - Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。
小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。
LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
論文 参考訳（メタデータ） (2026-06-24T03:42:44Z) - Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。
送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
論文 参考訳（メタデータ） (2026-05-13T17:58:32Z) - Stopping Computation for Converged Tokens in Masked Diffusion-LM Decoding [46.61138996670135]
Masked Diffusion Language Modelsは、トークンを徐々に解き放つ反復サンプリングを通じてシーケンスを生成する。
そこで我々は,アンマスキーク位置の後方が段差で安定すると,その位置をロックする,SureLockを提案する。
これにより、定位当たりの計算コストは$O(N2d)$から$O(MNd)$に削減され、$N$はシーケンス長、$M$はアンロックされたトークン位置の数、$d$はモデル寸法となる。
論文 参考訳（メタデータ） (2026-02-06T06:08:51Z) - Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live [30.099614426825834]
Continuumは、マルチターンエージェントワークロードのジョブ完了時間を最適化するサービスシステムである。
エージェントのツールコール時間を予測することで、Continuumは全ターン数に基づいて、KVキャッシュをGPUメモリに選択的にピン留めする。
Llama-3.1 8B/70Bモデルを用いた実世界のエージェントワークロードに対する評価は、Continuumが平均ジョブ完了時間を大幅に改善することを示している。
論文 参考訳（メタデータ） (2025-11-04T03:43:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。