論文の概要: Can Agent Harnesses and Inference Engines Hear Each Other? The HEAR Protocol for Agentic LLM Serving
- arxiv url: http://arxiv.org/abs/2610.06597v1
- Date: Mon, 05 Oct 2026 16:07:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 07:20:55.570824
- Title: Can Agent Harnesses and Inference Engines Hear Each Other? The HEAR Protocol for Agentic LLM Serving
- Title（参考訳）: エージェントハーネスと推論エンジンは互いに耳を傾けるか? : エージェントLLMのHEARプロトコル
- Abstract要約: HEARは、エージェントLLMサービスのための双方向ハーネス-エンジンペアリングプロトコルである。
HEARは、ハーネスがワークフローの意図と実行要求をどのように伝達するかを標準化する。
オンラインキャッシュ対応ランタイム調整と,エージェントロールのワークロード対応実行モード選択のために,HEARをインスタンス化する。
- 参考スコア（独自算出の注目度）: 20.1268333014123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents increasingly execute complex workflows involving multi-turn reasoning, tool use, and parallel agents. Efficient serving requires decisions that span two layers with complementary information: the agent harness understands workflow dependencies, context lifecycles, and execution objectives, whereas the inference engine observes request queues, KV-cache state, resource pressure, and execution capabilities. Existing interfaces do not systematically connect these views, limiting workflow-aware execution. HEAR, a bidirectional Harness--Engine Pairing protocol for agentic LLM serving. HEAR standardizes how the harness communicates workflow intent and execution requirements and how the engine returns runtime state, capabilities, and outcomes. By separating protocol semantics from optimization policies, HEAR supports diverse coordination strategies without changing workflow or model semantics. We instantiate HEAR for online cache-aware runtime coordination and workload-aware execution-mode selection for agent roles. Across four conversational and research-agent benchmarks under memory-constrained, concurrent serving, HEAR achieves a $1.61\times$ batch speedup and reduces median time-to-first-token by $2.23\times$ on SCBench. Mooncake shows that workflow intent and live engine state provide complementary benefits across load regimes. On BrowseComp-Plus and DeepResearchBench, workload-specific configurations yield $1.23\times$ and $2.45\times$ end-to-end speedups, respectively, without observed task-quality degradation. These results establish HEAR as a reusable coordination substrate for efficient agentic LLM serving.
- Abstract（参考訳）: LLMエージェントは、多ターン推論、ツール使用、並列エージェントを含む複雑なワークフローをますます実行します。
エージェントはワークフローの依存関係、コンテキストのライフサイクル、実行目標を理解し、推論エンジンはリクエストキュー、KV-cache状態、リソースのプレッシャー、実行機能を観察する。
既存のインターフェイスはこれらのビューを体系的に接続せず、ワークフロー対応の実行を制限する。
HEAR - エージェントLDMサービスのためのエンジンペアリングプロトコル。
HEARは、ハーネスがワークフローの意図と実行要求をどのように伝達し、エンジンがランタイムの状態、機能、結果を返すかを標準化する。
プロトコルのセマンティクスを最適化ポリシーから分離することで、HEARはワークフローやモデルセマンティクスを変更することなく、多様な調整戦略をサポートする。
オンラインキャッシュ対応ランタイム調整と,エージェントロールのワークロード対応実行モード選択のために,HEARをインスタンス化する。
メモリ制限とコンカレントサービスによる4つの対話型およびリサーチエージェントベンチマークにおいて、HEARは1.61\times$バッチスピードアップを達成し、SCBench上では2.23\times$の中央値タイム・ツー・ファーストトークンを減らした。
Mooncakeは、ワークフロー意図とライブエンジン状態がロードレシシシ間で補完的なメリットを提供することを示している。
BrowseComp-PlusとDeepResearchBenchでは、ワークロード固有の構成は、タスク品質の劣化を観測することなく、それぞれ1.23\times$と2.45\times$エンドツーエンドのスピードアップが得られる。
これらの結果から, HEAR を効率的なエージェント LLM サービスのための再利用可能な調整基板として確立した。
関連論文リスト
- Symbolic Temporal Supervision of LLM Agents Using Contracts [1.7188280334580195]
本稿では,大規模言語モデル(LLM)エージェントのシンボリック時間監視のための契約ベースのフレームワークであるContrAgentを紹介する。
ContrAgentは、エージェントの振舞いを一連のツールコールとして捉え、それを固定されたチェック可能な述語セット上のトレースとしてフォーマル化する。
その後、有限トレース上の線形時間論理における仮定保証契約(sum-guarantee contract)を用いて必要な振る舞いを特定する。
論文 参考訳（メタデータ） (2026-09-16T05:05:35Z) - TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving [8.123227365399869]
タスク指向のプレフィックス・アウェア・スケジューラTOPASを提案する。
TOPASは、各タスクの最も長いサービスパスの期待される削減をトレードオフすることで、候補の事後状態をスコアする。
TOPASは各ワークロードとメトリックの最高のパフォーマンスベースラインと比較して、平均/p99 JCTを最大39.8%削減する。
論文 参考訳（メタデータ） (2026-08-26T08:33:10Z) - OSDAG: Online Scheduling for Efficient Multi-Robot Collaboration [2.2726869886741383]
本稿では, LLMに基づくタスク推論と, Directed Acyclic Graph表現と制約対応オンラインスケジューリングを統合した新しいフレームワークOSDAGを提案する。
5つのベンチマークシナリオの実験では、OSDAGは対話ベースの手法に比べて5～15倍高速な推論時間を実現し、シーケンシャルベースラインよりも最大38%のペースパンを削減し、競争的な成功率を維持している。
論文 参考訳（メタデータ） (2026-06-13T11:22:34Z) - Multi-Agent Computer Use [72.79887808312706]
我々はマルチエージェント・コンピュータ・ユース(MACU)システムの評価・構築に向けて進むべきであると論じる。
本稿では、マネージャモデルがコンピュータ使用タスクを有向非巡回グラフ(DAG)として分解する汎用マルチエージェント構成を提案する。
各イテレーションで、マネージャは並列CUAサブエージェントをディスパッチし、DAGの準備ができているフロンティアでノードを実行する。
論文 参考訳（メタデータ） (2026-06-01T01:29:36Z) - When Parallelism Pays Off: Cohesion-Aware Task Partitioning for Multi-Agent Coding [19.03671411536556]
マルチエージェント大規模言語モデル(LLM)システムは、並列化やコンテキスト分離を通じて、コーディングのような複雑なタスクを分解する方法を提供する。
我々は,マルチエージェントオーケストレーションをグラフ分割問題として定式化し,通信対計算のトレードオフを捉える。
静的解析から依存性グラフを構築し,構造的ハブファイルを分離し,コミュニティ検出を通じてグラフを分割し,依存関係対応スケジューラで分割を実行するCohesion-aware Coder(Co-Coder)を提案する。
論文 参考訳（メタデータ） (2026-05-31T02:10:12Z) - SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters [13.891522069967507]
本稿では,複合AIワークロードのプログラムレベルスケジューリングへのシフトを提案する。
本稿では,この抽象化を実現する分散スケジューラSAGAを提案する。
論文 参考訳（メタデータ） (2026-05-01T09:05:28Z) - Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。
Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
論文 参考訳（メタデータ） (2026-03-23T17:01:42Z) - Learning to Share: Selective Memory for Efficient Parallel Agentic Systems [49.78267008828593]
エージェントシステムは、反復的に推論する複数のエージェントを調整することで複雑なタスクを解決し、ツールを呼び出し、中間結果を交換する。
最近のアプローチでは、さまざまな推論の軌跡を探索するために、複数のエージェントチームが並行して運用されている。
我々は並列エージェントフレームワークのための学習された共有メモリ機構であるLearning to Share (LTS)を提案する。
論文 参考訳（メタデータ） (2026-02-05T18:20:21Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳（メタデータ） (2025-08-06T21:59:34Z) - A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration [55.35849138235116]
本稿では,様々なタスクやドメインに対する動的コミュニケーション構造において,候補からエージェントのチームを自動的に選択する手法を提案する。
具体的には, LLMを利用したエージェント協調のための動的LLMパワーエージェントネットワーク(textDyLAN$)というフレームワークを構築した。
我々は、コード生成、意思決定、一般的な推論、算術的推論タスクにおいて、適度な計算コストで、DyLANが強力なベースラインを上回ることを実証する。
論文 参考訳（メタデータ） (2023-10-03T16:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。