論文の概要: JointServe: Serving Multi-Model Agents on Memory-Constrained GPUs
- arxiv url: http://arxiv.org/abs/2610.19822v1
- Date: Wed, 14 Oct 2026 08:59:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.05976
- Title: JointServe: Serving Multi-Model Agents on Memory-Constrained GPUs
- Title（参考訳）: JointServe: メモリ制限されたGPU上でマルチモデルエージェントを実行する
- Abstract要約: LLMエージェントは、単一のモデル呼び出しツールから、異なる重みを持つ複数の専門家モデルを編成するプランナーへと進化している。
このシフトは、現在のサービスシステムの隠れた仮定を破り、モデルの動作セットがGPUメモリに適合する。
We present JointServe, a service system that treats weight shards and KV block as livingncy objects compete for one unified memory budget。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents are evolving from a single model calling tools to planners that orchestrate multiple expert models whose capabilities live in distinct weights. This shift breaks a hidden assumption of today's serving systems: that the working set of models fits in GPU memory. On the memory-constrained GPUs typical of private and edge deployments, naive whole-model swapping serializes weight transfer with computation and, without host-backed KV restoration, discards session state at a switch. We present JointServe, a serving system that treats weight shards and KV blocks as residency objects competing for one unified memory budget. JointServe exploits three structural properties of agent workloads (directed calls, gapped execution, and dual-state residency) to prepare models before they are called: an intent signal parsed from the caller's own output stream triggers prefetch during generation, partial k* residency reduces switching to incremental layers, and a preemptive transfer scheduler protects live-session KV with a guaranteed bandwidth share. A carve-out control step adjusts the weight/KV allocation as workload demands change. Evaluations show that JointServe reduces session completion time by 21.7% over the strongest whole-model swap baseline and stays usable in a crash regime where every whole-model swap baseline fails to finish (a 46-fold gap). On replayed SWE-bench, tau-bench, and OSWorld traces, it cuts session completion time by up to 49% and lifts SLO attainment from 2.8-24.5% to 76.8-100%.
- Abstract（参考訳）: LLMエージェントは、単一のモデル呼び出しツールから、異なる重みを持つ複数の専門家モデルを編成するプランナーへと進化している。
このシフトは、現在のサービスシステムの隠れた仮定を破り、モデルの動作セットがGPUメモリに適合する。
プライベートおよびエッジデプロイメントに典型的なメモリ制約付きGPUでは、単純で全体モデルのスワッピングが計算と重み移動をシリアライズし、ホストバックのKV復元がなければスイッチでのセッション状態を破棄する。
We present JointServe, a service system that treats weight shards and KV block as livingncy objects compete for one unified memory budget。
JointServeは、呼び出される前にモデルを作成するために、エージェントワークロード(ダイレクトコール、ギャップ付き実行、デュアルステート常駐)の3つの構造特性を利用する。呼び出し側自身の出力ストリームから解析されたインテント信号は、生成時にプリフェッチをトリガーし、部分的なk*常駐はインクリメンタルなレイヤへの切り替えを低減し、プリエンプティブ転送スケジューラは、保証された帯域幅の共有でライブセッションKVを保護する。
カーベアウト制御ステップは、作業負荷の変化に応じて重量/KV割り当てを調整する。
評価の結果、JointServeは最強のモデルスワップベースラインよりも21.7%のセッション完了時間を短縮し、すべてのモデルスワップベースラインが終了しない(46倍のギャップ)クラッシュレジームで使用することができる。
リプレイされたSWE-bench、tau-bench、OSWorldトレースでは、セッション完了時間を最大49%削減し、SLO達成率を2.8-24.5%から76.8-100%に引き上げる。
関連論文リスト
- Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。
LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
論文 参考訳（メタデータ） (2026-09-30T16:47:35Z) - SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving [5.225347368638897]
SPLASHは、リクエストが実行されている間、アテンションの並列レイアウトを切り替えるサービスシステムである。
現代的な注意:KVヘッドがほとんどあるいは全くない、要求のKVキャッシュの場所を、注意重みの緊張度から切り離す。
固定されたデプロイメントに対して、エンドツーエンドのサービススループットを1.3-1.73倍改善する。
論文 参考訳（メタデータ） (2026-09-29T14:02:29Z) - DPS: Dual-Mode Precision LLM Serving with Semi-Unified Memory [0.9444932939944471]
既存のLLMサービスシステムは、実行中に固定されたモデルウェイトメモリを扱う。
マルチ精度モデル表現に関する最近の研究は、単一のストアドモデルが完全な精度と低い精度の実行の両方をサポートできるようにすることで、この設計に挑戦している。
本稿では、重み記憶を弾性資源に変換する2重精度LDMサービスシステムDPSを提案する。
論文 参考訳（メタデータ） (2026-09-28T05:55:33Z) - Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。
本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
論文 参考訳（メタデータ） (2026-08-24T13:56:01Z) - Talaria: Session-Aware Serverless Serving of Hundred-Billion-Parameter LLMs [0.4815673045037477]
Talariaはサーバレスのマルチモデルサービスシステムで、セッション継続を共同配置と承認の判断にする。
3つのモデルで30のSWE-Benchモデルセッションを再生します。
論文 参考訳（メタデータ） (2026-07-19T10:37:33Z) - PRISM: Fast Online LLM Serving via Scheduling-Memory Co-design [5.476189551376108]
本稿では、要求対応のラッドツリー(DART)とクエリ対応のスケジューラ(QAS)を共同設計し、要求の受け入れを正確なKV保持と整合させるPRISMを提案する。
評価の結果,最強のベースラインに対して,PRISMはQPS P99 TTFT平均を23.3%,P99 TTFT平均を37.1%削減し,KV-cacheの精度は4Bモデルと13Bモデルでそれぞれ5.9,12.2ポイント向上した。
論文 参考訳（メタデータ） (2026-05-09T00:48:25Z) - ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving [18.574823955774207]
本稿では,ZeRO-Prefillを提案する。ZeRO-Prefillはプリフィルのみのサービスシステムで,バックエンドはアクティベーションによってルーティングするのではなく,専門家を重みに集める。
Qwen3-235B-A22Bでは、4つのハードウェア/精度構成でZeRO-Prefillは1.35-1.37倍のスループットを提供する。
論文 参考訳（メタデータ） (2026-05-03T03:10:24Z) - S2GS: Streaming Semantic Gaussian Splatting for Online Scene Understanding and Reconstruction [57.07346645250984]
Streaming Semantic Gaussian Splatting (S2GS) は厳密に因果的かつ漸進的な3D Gaussianセマンティックフィールドフレームワークである。
将来のフレームを活用せず、歴史的フレームを再処理することなく、シーンの幾何学、外観、インスタンスレベルのセマンティクスを継続的に更新する。
S2GSは、ジョイントリコンストラクションとアンダーホールドのベンチマークにおいて、強いオフラインベースラインをマッチまたは上回る。
論文 参考訳（メタデータ） (2026-03-15T05:48:55Z) - Progressive Supernet Training for Efficient Visual Autoregressive Modeling [56.15415456746672]
本稿では,パラダイムとフルネットワークの両方の世代品質のフロンティアを突破するトレーニング戦略を提案する。
ImageNetの実験では、事前訓練されたVAR-d30、VARiant-d16、VARiant-d8と比べ、ほぼ同等の品質を実現している。
VARiant-d2は3.5倍のスピードアップと80%のメモリ削減を実現している。
論文 参考訳（メタデータ） (2025-11-20T16:59:24Z) - Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。
我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。
我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
論文 参考訳（メタデータ） (2024-04-02T17:58:49Z) - AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
LLM低ビット量のみの量子化のためのハードウェアフレンドリーなアプローチであるActivation-Aware Weight Quantization (AWQ)を提案する。
AWQ は 1% の正重みしか保護せず,命令調整型 LM とマルチモーダル LM の量子化性能に優れる。
また,4ビットオンデバイスLLM/VLMに適した,効率的なフレキシブルな推論フレームワークであるTinyChatを実装した。
論文 参考訳（メタデータ） (2023-06-01T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。