論文の概要: Recompute or Restore? Host-Tier KV for Multi-Model Agent Workflows on a Static-Graph NPU Serving Stack
- arxiv url: http://arxiv.org/abs/2611.15126v1
- Date: Wed, 11 Nov 2026 07:12:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.07108
- Title: Recompute or Restore? Host-Tier KV for Multi-Model Agent Workflows on a Static-Graph NPU Serving Stack
- Title(参考訳): 静的グラフNPUサービングスタック上でのマルチモデルエージェントワークフローのためのホストタイアKV
- Abstract要約: 商用静的グラフニューラルプロセッシングユニット(NPU)スタック上で、回復が再計算される場合について検討する。
ランタイムの公開KVコピーコール上に同期ホスト-DRAM層を構築し、スケジューラ対応のイベントモデルを構築します。
- 参考スコア(独自算出の注目度): 3.0570584309360496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent workflows issue dependent model calls that share long context prefixes, so serving them efficiently depends on reusing the key-value (KV) cache of those prefixes. On accelerators that compile model graphs ahead of time, however, the device KV budget is fixed, and prefixes evicted under load must be recomputed. Restoring them from host memory avoids this recomputation, but the transfer occupies the same engine thread as prefill and decode, so its benefit is not guaranteed. In this paper, we study when restoring beats recomputing on a commercial static-graph neural processing unit (NPU) stack (Rebellions ATOM+, vllm-rbln 0.10.2) that serves a Qwen3-8B planner on two cards and a Qwen3-0.6B executor on one. We first show that repeated prefill dominates planner work when default serving collapses: 89.5% of the executed planner prompt tokens had been materialized before. We then build a synchronous host-DRAM tier on the runtime's public KV copy calls, together with a scheduler-aware event model whose predictions are frozen before each test cohort. Experimental results show that the host tier raises workflow service-level objective (SLO) attainment from 22.8% to 100% and from 9.4% to 99.8% in the two tested overload conditions, and endpoint confirmation on two new seeds supports conservative load gains of 11.8% (chain) and 18.2% (fork), while mixed and bursty workloads remain seed-sensitive. The frozen model predicts median and 99th-percentile (P99) latency within its 15% tolerance in all 24 common-load conditions, including the 16-18% P99 increase that the tier causes for fork workflows, but it misorders three policy contrasts and overestimates the benefit of a cheaper store path (11% predicted against 3.1% measured). The trade-off therefore depends on runtime scheduling and transfer cost as well as cache capacity.
- Abstract(参考訳): エージェントワークフローは、長いコンテキストプレフィックスを共有する依存モデルコールを発行する。
しかし、事前にモデルグラフをコンパイルするアクセラレータでは、デバイスKV予算が固定され、負荷下で取り除かれたプレフィックスが再計算されなければならない。
それらをホストメモリから復元することは、この再計算を避けるが、転送はプリフィルとデコードと同じエンジンスレッドを占有するので、その利点は保証されない。
本稿では,2枚のカード上のQwen3-8Bプランナと1枚のQwen3-0.6Bエグゼキュータを備えた市販の静的グラフニューラルプロセッシングユニット(NPU)スタック(Rebellions ATOM+, vllm-rbln 0.10.2)で再計算を行う場合について検討する。
実行されたプランナープロンプトの89.5%が以前に実現されていた。
次に、ランタイムの公開KVコピーコール上に同期ホスト-DRAM層を構築し、各テストコホートの前に予測が凍結されるスケジューラ対応のイベントモデルを構築します。
実験の結果、ホスト層はワークフローサービスレベル目標(SLO)達成率を22.8%から100%に、テストされた2つのオーバーロード条件では9.4%から99.8%に引き上げ、新しい2つのシードでのエンドポイント確認は保守的な負荷増加(チェーン)11.8%と18.2%(フォーク)をサポートし、混合およびバーストワークロードはシード感受性を維持している。
凍結されたモデルでは、24の共通負荷条件すべてにおいて、中央値と99番目のパーセンタイル(P99)レイテンシを15%の許容範囲内で予測するが、16-18%のP99は、層がフォークワークフローの原因となっているが、3つのポリシーのコントラストを誤った順に並べ、より安価なストアパスの利点を過大評価する(測定された3.1%に対して11%)。
したがって、トレードオフはランタイムのスケジューリングと転送コストとキャッシュ容量に依存する。
関連論文リスト
- When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill [1.2894104422808244]
リクエスト間での注意KVキャッシュの再利用は、ロングコンテキストサービスにおけるプリフィルコストを削減する標準的な方法である。
本研究では,8xB300ノード上でのGLM-5.3の分散配置において,事前のコンテクスト並列処理を行う場合のそのような階層について検討する。
論文 参考訳(メタデータ) (2026-10-15T08:37:22Z) - HyCo: Hybrid Drafting for Cost-Efficient Mobile-Cloud Speculative Decoding [16.671140391153298]
デバイスクラウドの投機的復号化はサーバの計算を減少させるが、小さな言語モデル(SLM)で深いドラフトツリーを成長させるには、モバイルニューラル処理ユニット(NPU)上で繰り返しパスする必要がある。
本稿では,サーバモデルのマルチトークン予測(MTP)ヘッドをデバイス上で実行してディープチェーンを構築するHyCoについて述べる。
論文 参考訳(メタデータ) (2026-10-15T07:45:49Z) - EfficientAgent: What Makes KV Cache Offloading Work for Concurrent Agents? [31.538628189836828]
LLMエージェントはすべてのターンで会話全体を再送し、そのほとんどが既に前のターンで処理されていた。
同じワークロードでは、ひとつのデプロイメントをスピードアップし、別のデプロイを遅くし、3分の1で何も変更しない。
この作業セットによってホスト層のサイズと管理を行うEfficientAgentを提案する。
論文 参考訳(メタデータ) (2026-09-27T17:01:29Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - Grounding Agent Memory: Environment-Probing Curation for Enterprise Agents [37.62160903348546]
既存の非同期キュレーターエージェントを最小限に設定するデプロイメント互換拡張である環境保護キュレーションを導入する。
モデルの再トレーニングは不要で、タスクエージェント、レトリバー、メモリ表現、プロダクション書き込み権限は変わらない。
CLBenchでは、確率はパスレートを39%から73%、パスカウント報酬を8.60から22.60に引き上げ、クエリを8.8から4.7に下げる。
論文 参考訳(メタデータ) (2026-09-10T04:06:16Z) - TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving [8.123227365399869]
タスク指向のプレフィックス・アウェア・スケジューラTOPASを提案する。
TOPASは、各タスクの最も長いサービスパスの期待される削減をトレードオフすることで、候補の事後状態をスコアする。
TOPASは各ワークロードとメトリックの最高のパフォーマンスベースラインと比較して、平均/p99 JCTを最大39.8%削減する。
論文 参考訳(メタデータ) (2026-08-26T08:33:10Z) - When Does Trace-Driven Evaluation Mislead MoE Expert Caching? Replay Semantics, Workload Contamination, and Operating Regimes [3.471896896439183]
Mixture-of-Experts (MoE)モデルはアクセラレーターメモリをはるかに上回っている。
ヒット率を上げた政策は、トークン当たりの専門家のトラフィックを減らした。
我々は、数だけでなく結論を変える3つの評価軸を評価する。
論文 参考訳(メタデータ) (2026-08-08T04:29:20Z) - Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson [35.18016233072556]
NVIDIA Jetson Orin Nano Super (8GB) で完全に動作する2次元SO-101システムを提案する。
我々は、NVMMバッファによってバックアップされたGStreamerキャプチャパイプラインを構築し、3つのカメラセンシングから冗長なホストデバイスコピーを取り除く。
我々は、ACTと拡散政策を同一のデモンストレーションで訓練し、それぞれが独自の基準予算で実施する。
論文 参考訳(メタデータ) (2026-08-04T17:09:41Z) - Randomization Boosts KV Caching, Learning Balances Query Load: A Joint Perspective [31.67506313325633]
KVキャッシュは、キー値(KV)ペアを以前のクエリから再利用することで、Large Language Model(LLM)推論を高速化する技術である。
デフォルトのLeast recently Used (LRU)消去アルゴリズムは、動的オンラインクエリの到着に苦労する。
我々は、KVキャッシュ消去とクエリルーティングのコアトレードオフをキャプチャする最初の統一数学的モデルを与える。
論文 参考訳(メタデータ) (2026-01-26T22:20:59Z) - Adaptive Execution Scheduler for DataDios SmartDiff [0.0]
2つの実行モードを持つ1つの差分エンジン(SmartDiff)に対する適応型スケジューラを提案する。
スケジューラは、CPUとメモリの固定予算内でバッチサイズとワーカー/スレッド数を調整し、p95レイテンシを最小限にする。
合成と公開のベンチマークで、スケジューラは、調整したウォームアップに比べて、p95のレイテンシを23~28%削減する。
論文 参考訳(メタデータ) (2025-10-09T05:40:16Z) - 1-bit Adam: Communication Efficient Large-Scale Training with Adam's
Convergence Speed [39.23129626683372]
通信は、ネットワーク帯域幅が限られている標準のTCPインターコネクトを持つコモディティシステムにおいて、大きなボトルネックとなっている。
最も効果的な方法の1つは、誤り補償圧縮であり、1ビット圧縮でも堅牢な収束速度を提供する。
我々は,通信容量を最大5倍に削減し,スケーラビリティを向上し,非圧縮Adamと同じ収束速度を提供する1ビットAdamを提案する。
論文 参考訳(メタデータ) (2021-02-04T21:02:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。