論文の概要: A Policy-Driven Runtime Layer for Agentic LLM Serving
- arxiv url: http://arxiv.org/abs/2605.27744v1
- Date: Tue, 26 May 2026 22:38:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.586395
- Title: A Policy-Driven Runtime Layer for Agentic LLM Serving
- Title（参考訳）: エージェントLDM実行のためのポリシー駆動実行層
- Abstract要約: マルチエージェント LLM システムはプロダクションワークロードの主流となっているが、サービススタックは構築されなかった。
このシームは、ポイント修正よりもアーキテクチャの変更によって対処されるのが最善である、と私たちは主張する。
5つの実マルチエージェントワークロードの予備的な結果は、+13から+37ppキャッシュヒットレートリフト、12%から29%低い平均TTFT、6%から14%高いスループットを示す。
- 参考スコア（独自算出の注目度）: 6.975319765760388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent LLM systems have become the dominant production workload, but the serving stack was not built for them. The agent framework above knows agent identities, role, schemas, and dispatch structure but never sees an engine-level event; the serving engine below sees every event but knows nothing about agents. A surprising number of cross-cutting policies depend on both: prefix caching, batch shaping, speculative execution, fairness, tool-result memoization, safety enforcement, and more. Each lives in the seam between the two layers and is currently solved by a one-off patch into one neighbor or the other. We argue this seam is best addressed by an architectural change rather than point fixes: insert a third tier, an agent runtime layer, between the framework and the engine, exposing four primitives (observe, score, predict, act) into which any agent-aware policy plugs, with agent identity as the shared coordinate. We map nine concrete policies onto the layer and validate the abstraction in depth on the one with the largest immediate serving-cost lever: KV caching across sessions, instantiated as CacheSage, which learns the per-workload agent transition matrix online and uses it for survival-based eviction and between-step prefetch. Preliminary results on five real multi-agent workloads show +13 to +37 pp cache hit-rate lift, 12% to 29% lower mean TTFT, and 6% to 14% higher throughput over an unmodified serving stack.
- Abstract（参考訳）: マルチエージェント LLM システムはプロダクションワークロードの主流となっているが、サービススタックは構築されなかった。
上記のエージェントフレームワークはエージェントのID、ロール、スキーマ、ディスパッチ構造を知っているが、エンジンレベルのイベントを見ることはない。
驚くほど多くの横断的なポリシーは、プレフィックスキャッシング、バッチシェーピング、投機的実行、公正性、ツール-Resultのメモ化、安全執行など、両方に依存します。
それぞれの層は2つの層の間にあり、現在は1対1のパッチで隣同士に解決されている。
第三層、エージェントランタイム層をフレームワークとエンジンの間に挿入し、4つのプリミティブ(オブザーブ、スコア、予測、アクション)を公開し、エージェントが認識するポリシープラグインが共有座標としてエージェントアイデンティティを持つ。
我々は、9つの具体的なポリシーをレイヤにマップし、最も大きな即時サービスコストレバーの抽象化を検証します。セッション間でKVキャッシュを行い、CacheSageとしてインスタンス化します。
5つの実マルチエージェントワークロードの予備的な結果は、+13から+37ppキャッシュヒットレートリフト、12%から29%低い平均TTFT、6%から14%高いスループットを示す。
関連論文リスト
- Learning Agent Execution for KV-Cache Management in Agentic Serving [25.021363822677515]
マルチエージェントLLMサービスのためのエージェント対応KV-cacheランタイム層であるCacheScoutを提案する。
鍵となる洞察は、将来のKV-cacheの再利用は、キャッシュのレイテンシ単独ではなく、エージェントの実行セマンティクスによって管理されることである。
CacheScout は KV-cache のヒット率を 10-18 ポイント改善し,平均 TTFT を 18-45% 削減し,平均 TTFT を 29-38% 削減し,ピークスループットを 57% 向上させることを示した。
論文 参考訳（メタデータ） (2026-07-16T22:28:19Z) - Route, Communicate, and Reason: Gated Routing and Adaptive Depth for Efficient Multi-Agent Reasoning [20.207338820226862]
GRADEは階層的なマルチエージェントシステムであり、4つの軽量学習ゲートがエージェント選択、階層深度、エージェント間通信、ブランチプルーニングを共同で管理する。
平均アクティブパラメータは$sim$17Bで、GRADEはGSM8K、MMLUPro、GPQAで全てのベースラインを上回っている。
モデル奥行きが支配的な AIME-2025 では、GRADE は既存のフレームワークと競合し続けている。
論文 参考訳（メタデータ） (2026-07-12T16:58:21Z) - Multi-Agent Computer Use [72.79887808312706]
我々はマルチエージェント・コンピュータ・ユース(MACU)システムの評価・構築に向けて進むべきであると論じる。
本稿では、マネージャモデルがコンピュータ使用タスクを有向非巡回グラフ(DAG)として分解する汎用マルチエージェント構成を提案する。
各イテレーションで、マネージャは並列CUAサブエージェントをディスパッチし、DAGの準備ができているフロンティアでノードを実行する。
論文 参考訳（メタデータ） (2026-06-01T01:29:36Z) - Multi-agent Collaboration with State Management [21.19345862774123]
複数のエージェントが同時に共有を編集すると、その変更は静かに衝突し、一貫性のないビューは統合の失敗につながる。
既存のマルチエージェントシステムはワークスペース分離(エージェント毎に1つのgitワークツリーなど)を通じてこの問題に対処している。
マルチエージェントコラボレーションのためのSTORM,すなわちSTate-Oriented Managementを提案する。
論文 参考訳（メタデータ） (2026-05-19T23:45:33Z) - Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks? [3.636948650519796]
スモール言語モデル(SLM)はエージェント端末実行のタスクにおいてフロンティアモデルに匹敵する性能を達成できる。
教師付ファインタニング(SFT)と強化学習(RL)による訓練後Qwen3-4BモデルであるTerminus-4Bを提案する。
Terminus-4Bは、No Subagentベースラインと比較して、メインエージェントのトークン使用量を最大30%削減できることがわかった。
論文 参考訳（メタデータ） (2026-05-04T22:24:24Z) - AgenticCache: Cache-Driven Asynchronous Planning for Embodied AI Agents [3.275342475988451]
実施中のAIエージェントは、計画のための大規模言語モデル(LLM)にますます依存しているが、ステップごとのLSMコールは、深刻なレイテンシとコストを課している。
AgenticCacheは、キャッシュされたプランを再利用し、ステップごとのLCM呼び出しを避けるためのフレームワークです。
AgenticCacheは12構成の平均的なタスク成功率を22%改善し、シミュレーション遅延を65%削減し、トークン使用率を50%削減する。
論文 参考訳（メタデータ） (2026-04-27T04:51:15Z) - OrgAgent: Organize Your Multi-Agent System like a Company [75.47076168155817]
企業スタイルの階層型マルチエージェントフレームワークであるOrgAgentを紹介します。
企業スタイルの階層で組織されたマルチエージェントシステムは、一般的に他の組織構造よりも優れています。
論文 参考訳（メタデータ） (2026-04-01T15:21:14Z) - AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。
各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。
シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
論文 参考訳（メタデータ） (2026-02-03T19:18:28Z) - Anemoi: A Semi-Centralized Multi-agent System Based on Agent-to-Agent Communication MCP server from Coral Protocol [0.7288110873705294]
Anemoi は、Coral Protocol の Agent-to-Agent (A2A) 通信 MCP サーバ上に構築された、半集中型の MAS である。
従来のデザインとは異なり、Anemoiは構造的かつ直接的なエージェント間コラボレーションを可能にし、すべてのエージェントが進捗を監視し、結果を評価し、ボトルネックを特定し、リアルタイムに改善を提案する。
論文 参考訳（メタデータ） (2025-08-23T15:45:10Z) - PC-Agent: A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC [98.82146219495792]
本稿では,PC-Agentという階層型エージェントフレームワークを提案する。
認識の観点からは,現在のMLLMのスクリーンショットコンテンツに対する認識能力の不十分さを克服するために,アクティブ知覚モジュール(APM)を考案する。
意思決定の観点から、複雑なユーザ命令や相互依存サブタスクをより効果的に扱うために、階層的なマルチエージェント協調アーキテクチャを提案する。
論文 参考訳（メタデータ） (2025-02-20T05:41:55Z) - AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents [52.13695464678006]
本研究は, 観察空間と行動空間を簡略化することで, LLMベースのWebエージェントを強化する。
AgentOccam は以前の最先端および同時処理を 9.8 (+29.4%) と 5.9 (+15.8%) で上回っている。
論文 参考訳（メタデータ） (2024-10-17T17:50:38Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳（メタデータ） (2024-08-02T03:25:20Z) - MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization [17.825845543579195]
我々はtextitMulti-Agent Cooperative Recurrent Proximal Policy Optimization (MACRPO) と呼ばれる新しいマルチエージェントアクター批判手法を提案する。
我々は、批評家のネットワークアーキテクチャにおいてリカレント・レイヤを使用し、メタ・トラジェクトリを使用してリカレント・レイヤをトレーニングする新しいフレームワークを提案する。
連続的および離散的な行動空間を持つ3つの挑戦的マルチエージェント環境において,本アルゴリズムの評価を行った。
論文 参考訳（メタデータ） (2021-09-02T12:43:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。