論文の概要: Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving

• arxiv url: http://arxiv.org/abs/2609.27085v1
• Date: Tue, 22 Sep 2026 21:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.776938
• Title: Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving
• Title（参考訳）: Crossflow: エージェントLDMサービングのためのプリフィル・デコード弾性
• Abstract要約: プリフィル・デコード(P/D)は、2つのフェーズの特殊化と分離により、サービス効率を向上させる。 しかし、位相需要は静的ではなく、LLMの大規模な運用では、未キャッシュ入力と出力トークンの比率が、微小時間スケールで最大4.7倍に達することが観察されている。 ノードロールを変更することなく、この境界を弾性的にするCrossflowを紹介します。
• 参考スコア（独自算出の注目度）: 5.988219451193416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As serving capacity demand surpasses that of training, serving efficiency becomes increasingly important. Prefill-decode (P/D) disaggregation improves serving efficiency through specialization and isolation of the two phases. These benefits rest on a static partitioning. Phase demand, however, is not static. We observe that in a large LLM fleet the ratio of uncached input to output tokens has peak-to-mean ratios up to 4.7x at minute timescales, and that in a public agentic trace the hourly ratio spans a median 24.5x within a single day, while reassigning a replica takes tens of minutes. Agentic traffic sharpens the mismatch. Sizing each pool at its ninety-fifth percentile leaves up to 17% of cluster capacity unused; sizing below it converts the same imbalance into queueing and unrealized throughput. We present Crossflow, which makes this boundary elastic without changing node roles. Each decode node publishes a short-lived, revocable lease that bounds local-prefill compute, KV capacity, transfer work, and projected output. Across public and internal traces, Crossflow improves token throughput by 16.2-17.4% on geometric mean over static P/D, and by up to 43.4% at high load, while reducing mean TTFT at every evaluated point.
• Abstract（参考訳）: サービス能力の需要が訓練の需要を上回るにつれて、サービス効率はますます重要になる。 プリフィル・デコード(P/D)デアグリゲーションは、2つのフェーズの特殊化と分離によってサービス効率を向上させる。 これらの利点は静的パーティショニングに依存します。 しかし、フェーズ要求は静的ではない。 大規模なLLM艦隊では,出力トークンに対するキャッシュなし入力の比率が1分間の時間スケールで最大4.7倍まで上昇し,公開エージェント・トレースでは1日中24.5倍の時間間隔でレプリカの再割り当てを行うのに何分かかかることが観察された。 エージェントトラフィックはミスマッチをシャープにします。 90パーセントのパーセンタイルで各プールをサイズすることは、クラスタ容量の最大17%を未使用のままにする。 ノードロールを変更することなく、この境界を弾性的にするCrossflowを紹介します。 各デコードノードは、ローカルプリフィル計算、KVキャパシティ、転送作業、および投影出力をバウンドする、短命で取り消し可能なリースを発行する。 公的および内部のトレースを通じて、Crossflowは、静的P/D上の幾何学平均で16.2-17.4%、高負荷時に43.4%、評価点毎に平均TTFTを減少させ、トークンスループットを16.2-17.4%向上させる。

関連論文リスト

• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• Phase-Scheduled Multi-Agent Systems for Token-Efficient Coordination [0.0]
  位相スケジュール多エージェントシステム(PSMAS)は、円多様体上にモデル化された共有注意空間の連続制御としてエージェント活性化を再認識するフレームワークである。 PSMASは平均トークンの減少率を27.3%(約21.4-34.8%)とし、完全に活性化されたベースラインの2.1ポイント以内のタスク性能を維持している。
  論文  参考訳（メタデータ） (2026-04-19T12:03:54Z)
• Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving [9.457255218406333]
  プロダクションvLLMフリートは通常、最悪のコンテキスト長に対して各インスタンスをプロビジョニングする。 実際には、80-95%のリクエストは短いが、長いコンテキストに最適化された設定の下で提供される。 本稿では,同種艦隊を2つの専用プールに分割する軽量ディスパッチ機構であるデュアルプールトークン予算ルーティングを提案する。
  論文  参考訳（メタデータ） (2026-04-09T10:47:20Z)
• Speculative Decoding in Decentralized LLM Inference: Turning Communication Latency into Computation Throughput [8.480238305117298]
  本稿では、分散推論のためのプラグイン・アンド・プレイフレームワークである分散投機復号(DSD)を提案する。 本稿では,トークンレベルのセマンティックな重要性によって受容しきい値を調整する適応的投機的検証手法を提案する。 DSDはHumanEvalで2.56倍、GSM8Kで2.59倍のスピードアップを達成し、精度を維持しながらEagle3ベースラインを抜いた。
  論文  参考訳（メタデータ） (2025-11-13T06:36:33Z)
• Sprint: Sparse-Dense Residual Fusion for Efficient Diffusion Transformers [91.02299679350834]
  Diffusion Transformer (DiTs) は最先端の生成性能を提供するが、シークエンス長の2次トレーニングコストは大規模な事前訓練を不当に高価にする。 本稿では,高効率拡散変換器のためのスパース-デンス残差核融合法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T19:29:55Z)
• From Tokens to Layers: Redefining Stall-Free Scheduling for LLM Serving with Layered Prefill [8.04085002818041]
  大規模言語モデル(LLM)は、TTFT(Time-to-first-token)とTBT(Time-between-token)の両方に対して、厳密なサービスレベル目標を満たす必要がある。 現代のサービスシステムでは、チャンクプリフィルのようなストールフリーなスケジューリング技術を採用している。 本稿では,トランスフォーマ層群を主スケジューリング単位として扱う新しいスケジューリングパラダイムであるLayered Prefillを提案する。
  論文  参考訳（メタデータ） (2025-10-09T10:41:35Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling [10.298476019491146]
  Flow KVは非凝集型推論フレームワークである。 これにより、KVキャッシュの平均伝送遅延を0.944sから0.053sに96%削減できる。 これは、通常、計算の不均衡、極端な過負荷条件など、様々なシナリオでピークシステムのスループットを達成する。
  論文  参考訳（メタデータ） (2025-04-03T08:58:05Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。